深度学习中对抗生成网络GAN背后的数学原理

引言

GAN的风暴席卷了整个深度学习圈子,任何任务似乎套上GAN的壳子,立马就变得高大上了起来。那么,GAN究竟是什么呢?

GAN的主要应用目标:

生成式任务(生成、重建、超分辨率、风格迁移、补全、上采样等)

GAN的核心思想:生成器G和判别器D的一代代博弈

生成器:生成网络,通过输入生成图像

判别器:二分类网络,将生成器生成图像作为负样本,真实图像作为正样本

learn 判别器D:

给定G,通过G生成图像产生负样本,并结合真实图像作为正样本来训练D

learn 生成器G:

给定D,以使得D对G生成图像的评分尽可能接近正样本作为目标来训练G

G和D的训练过程交替进行,这个对抗的过程使得G生成的图像越来越逼真,D“打假”的能力也越来越强。

觉得不是很好理解嘛?别着急,慢慢往下看!


1 从极大似然估计说起

补充:
分布的表示:P(x)
表示该分布中采样到样本x的概率,试想如果我们知道该分布中每个样本的采样概率,那么这个分布也就可以以这种形式表示出来了。
确定分布的表示:P(x;𝜃)
其中𝜃表示该分布的参数,该分布的具体形式确定了(比如 P(x;𝜃) 可以是高斯分布,𝜃就是高斯分布的均值 µ和方差𝜌

先来介绍一下极大似然估计

1.1 极大似然估计要解决的问题

  • 给定一个数据分布 P_{data}(x)

  • 给定一个由参数𝜃定义的数据分布 P_G(x;\theta )

  • 我们希望求得参数𝜃使得 P_G(x;\theta )尽可能接近P_{data}(x)

可以理解成:

P_G(x;\theta )是某一具体的分布(比如简单的高斯分布),而 P_{data}(x)

是未知的(或者及其复杂,我们很难找到一个方式表示它),我们希望通过极大似然估计的方法来确定𝜃 ,让 P_G(x;\theta )能够大体表达P_{data}(x) 。

1.2 极大似然估计的解决方案

  1. 从 P_{data}(x) 采样m个样本 \left \{ x^1,x^2,x^3,\cdot \cdot \cdot x^m \right \}

  2. 计算采样样本的似然函数 L = \displaystyle \prod \limits_{i=1}^{m} P_G(x^i;\theta )

  3. 计算使得似然函数 L 最大的参数𝜃 : 

    图片

 这里再啰嗦一下极大似然估计为什么要这么做:

 P_{data}(x)可以理解成是非常复杂的分布,不可能用某个数学表达精确表示,因此我们只能通过抽象,使用一个具体的分布模型 P_G(x;\theta ) 近似 P_{data}(x)

所以,求 P_G(x;\theta ) 的参数 𝜃的策略就变成了:
我们认为来自 P_{data}(x) 的样本 \left \{ x^1,x^2,x^3,\cdot \cdot \cdot x^m \right \} 在 P_G(x;\theta )  分布中出现的概率越高,也就是 L = \displaystyle \prod \limits_{i=1}^{m} P_G(x^i;\theta ) 越大, P_G(x;\theta )  和   P_{data}(x) 就越接近。
因此,我们期待的𝜃就是使得 L = \displaystyle \prod \limits_{i=1}^{m} P_G(x^i;\theta ) 最大的𝜃.
即: 

图片

咱们继续推导:

图片

关于最后一步:

因为我们求取的是𝜃 ,而式一 \int _x P_{data}(x)logP_{data}(x)dx与𝜃无关,因此加上这一项并不影响等式。

加上这一项是为了后面的推导,把极大似然函数的式子化简成KL散度的表达式

(公式推导接上)

图片

KL散度:
KL(P||Q) 衡量P,Q这两个概率分布差异的方式:

图片

1.3 极大似然估计的本质

找到𝜃 使得 P_G(x;\theta ) 与目标分布 P_{data}(x) 的KL散度尽可能低,也就是使得两者的分布尽可能接近,实现用确定的分布P_G(x;\theta ) 极大似然 P_{data}(x)

2 GAN的基本思想

2.1 生成器:有问题?试试神经网络!

GAN的主要应用是集中在生成

本质就是在做一个极大似然估计的事情,我们希望可以用某一种具体的分布形式 P_G(x;\theta ) 尽可能逼真地表达分布 P_{data}(x)  ,这样我们就相当于是得到了 P_{data}(x) ,并据此分布 P_G(x;\theta ) 采样(也就是做生成式的任务):

  1. 确定具体分布的形式 P_G(x;\theta ) 

  2. 极大似然估计求得𝜃.我们认为我们可以使用 P_G(x;\theta ) 近似表达 P_{data}(x)  

  3. 基于 P_G(x;\theta ) 采样做生成

那么最直接的想法:  P_G(x;\theta ) 直接用高斯分布模型,但是高斯分布的capacity太弱了,不能很有效地推广至去拟合各种差异很大地目标图像分布

想要得到更general的 P_G(x;\theta ) ,为什么不考虑使用具有强大拟合能力的神经网络来做呢???!!!

我们不妨设计一个神经网络G来得到更general的 P_G(x;\theta ) ,大概的结构图如下:

图片

解释一下:

整体pipeline:

  1. 我们先选取一个简单的先验分布 P_{prior},并从该先验分布中采样z作为输入,输入到神经网络G,得 G(z)= x 生成图像 x .我们通过这种方式构建了生成分布  P_G(x;\theta ) 。此时该分布主要由神经网络G决定,参数𝜃由网络参数定义.我们可以通过输入z来在该分布上采样 x .

  2. 我们的目标是 P_{data}(x),我们希望我们构建的 P_G(x;\theta ) 与它尽可能接近。我们无法获得 P_{data}(x)的具体表达形式,我们只能获得它的样本。

  3. 类似极大似然估计,我们通过比较两个分布样本的差异设计loss来调节优化神经网络G的参数𝜃,从而实现将分布 P_G 向 P_{data} 拉近,从而达到用 P_G 拟合表达 P_{data} 的效果。

P_{prior}表示一个先验分布,我们生成图像 x 需要输入的code z 就是服从这个先验分布的。这个先验分布比如可以是:高斯分布

图片

指示函数 I_{\left [ G(z;\theta ) == x \right ]} 表示当 [] 内的条件为真时取值为1,为假时取值为0

也就是说分布 P_G 采样 x 的概率是所有能够使得 G(z;\theta ) == x 成立的z出现的概率之和,而z在这里是符合先验分布 P_{prior}(z) 的。

显然, P_G(x;\theta ) 的计算是非常困难的。

然而, P_G(x;\theta ) 的计算又是非常必要的,因为我们需要验证  P_G(x;\theta ) 在不断靠近 P_{data}(x) .

现在这种情况使用极大似然估计根本无从下手啊!!!

那么现在,GAN来了!!!

2.2 判别器:有问题?GAN来了!

GAN由生成器G和判别器D组成。

其实上面我们已经基本介绍了生成器G的由来了,并且我们遇到了一个问题:  P_G(x;\theta ) 极其复杂的计算方式导致使用极大似然估计根本无从下手啊!!!

为了解决这个问题,我们引入了判别器D!

现在GAN的结构就完备了!!

对于生成器G:

  1. G 是一个函数,输入 z ~ P_{prior} ,输出(上面已经介绍了)x ~ P_G

  2. 先验分布 P_{prior},  P_{prior} 和G共同决定的分布 P_G对于判别器D:

  3. D是一个函数,输入 x ~ P_G ,输出一个scalar

  4. D用于评估 P_G(x;\theta ) 和  P_{data}(x) 之间的差异(解决上一小节提出的问题)

那么,GAN的最终目标-->用符号化语言表示就是:

图片

我们的目标是得到使得式子 max_D \,\,V(G,D) 最小的生成器 G^*.

关于V:

图片

给定G, max_D \,\,V(G,D)  衡量的就是分布 P_G 和 P_{data} 的差异。

因此,arg\,\, min_G \,\,max_D \,\,V(G,D) 也就是我们需要的使得差异最小的 G .

详细解释 V(G,D) :

对于 max_D \,\,V(G,D) ​​​​​​:

固定G ,最优 D^* 最大化:

图片

假设D(x) 可以表达任何函数

此时再固定 x ,则对于 P_{data}(x)logD(x)+P_G(x)log(1-D(x)),我们可将其看成是关于D的函数: f(D)=a \,logD+b \,log(1-D)

图片

解得

图片

即:

图片

则此时对于原式 V(G,D) (将 D^* 代入):

图片

JSD表示JS散度,它是KL散度的一种变形,也表示两个分布之间的差异: 

图片

与KL散度不同,JS散度是对称的。 

以上的公式推导,证明了  max_D \,\,V(G,D) 确实是衡量了 P_{data}(x) 和 P_G(x) 之间的差异。

图片

此时,最优的G:

图片

也就是使得 JSD(P_{data}(x) \left | \right | P_G(x)) 最小的G

图片

当 JSD(P_{data}(x) \left | \right | P_G(x)) = 0 时,表示两个分布完全相同。

对于 G^* = arg \,\, min_G \,\, max_D \,\, V(G,D) ,令 L(G)=max_D \,\, V(G,D)=V(G,D^*)

我们该如何优化从而获得 G^* 呢???

我们希望通过最小化损失函数L(G) ,找到最优的G。

这一步可以通过梯度下降实现:

图片

具体算法参考:

第一代:

  1. 给定 G_0 (随机初始化)

  • 确定 D^*_0 使得 V(G_0,D)  最大。此时 V(G_0,D^*_0) , 表示 P_{data}(x) 和 P_{G_0}(x) 的JS散度

  • 梯度下降:\theta _G \leftarrow \theta _G -\eta \frac{\partial V(G,D^*_0)}{\partial \theta _G} .得到 G_1

第二代:

2. 给定 G_1

  • 确定 D^*_1 使得 V(G_1,D) 最大。此时 V(G_1,D^*_1) , 表示 P_{data}(x) 和 P_{G_1}(x) 的JS散度

  • 梯度下降:\theta _G \leftarrow \theta _G -\eta \frac{\partial V(G,D^*_1)}{\partial \theta _G} .得到 G_2 

 。。。

后面的依此类推

以上算法有一个问题:如何确定 D^* 使得 V(D,G) 最大???

也就是:给定 G,如何计算 arg \,\, max_D \,\, V(G,D) 

回答:

从 P_{data}(x) 采样 \left \{ x^1,x^2,x^3,\cdot \cdot \cdot x^m \right \}

从 P_G(x) 采样 \left \{ \tilde{x^1}, \tilde{x^2},\cdot \cdot \cdot \tilde{x^m} \right \} 

因此我们可以将 max_D \,\, V(G,D) 从期望值计算改写为对样本计算(近似估计):

图片

这很自然地让我们想到二分类问题中常使用的交叉熵loss

因此,我们不妨联想:

D是一个二分类器,参数是 \theta _D 来自  P_{data}(x) 的采样 \left \{ x^1,x^2,x^3,\cdot \cdot \cdot x^m \right \} 作为正样本

来自 P_G(x) 的采样 \left \{ \tilde{x^1}, \tilde{x^2},\cdot \cdot \cdot \tilde{x^m} \right \} 作为负样本

那么此时,我们就将问题转化成了一个二分类问题:

交叉熵loss大 --> P_{data} 和 P_G JS散度小

交叉熵loss小 --> P_{data} 和 P_G JS散度大

此时,D就是可以使用一个神经网络作为二分类器,那么确定D,也就是可以使用梯度下降来优化获得D的最终参数。

GAN的最终算法流程:

初始化参数 \theta _D(for D)和 \theta _G(for G)

对于训练的每一轮:

第一部分 学习优化判别器D:

  • 从 P_{data}(x) 采样 \left \{ x^1,x^2,x^3,\cdot \cdot \cdot x^m \right \}

  • 从 P_{prior}(z) 采样 \left \{ z^1,z^2,z^3,\cdot \cdot \cdot z^m \right \} 

  • 通过生成器 \tilde{x^i}=G(z^i) 获得生成样本 \left \{ \tilde{x^1}, \tilde{x^2},\cdot \cdot \cdot \tilde{x^m} \right \} 

  • 梯度下降更新 \theta _D来最大化 : 

    图片

    :

    图片

注:以上第一部分可以重复多次:此过程本质上是在测量两分布之间的JS散度

第二部分 学习优化生成器G:

  • 再从 P_{prior}(z) 采样另一组 \left \{ z^1,z^2,z^3,\cdot \cdot \cdot z^m \right \}  

  • 梯度下降更新 \theta _G 来最小化 : 

    图片

    :

    图片

     .实际上 \tilde{V} 第一项与G无关,梯度下降只需最小化

    图片

    即可。

注:以上过程仅一次

最后的话:

其实在GAN之前,就已经有Auto-Encoder,VAE这样的方法来使用神经网络做生成式任务了。

GAN的最大的创新就是在于非常精妙地引入了判别器,从样本的维度解决了衡量两个分布差异的问题。

这种生成器和判别器对抗学习的模式,也必将在各种生成式任务中发挥其巨大的威力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/193298.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1.0 Zookeeper 教程

分类 Zookeeper 教程 ZooKeeper 是 Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。 ZooKeeper 的架构通过冗余服务实现高可用性。 Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来&…

基于海洋捕食者算法优化概率神经网络PNN的分类预测 - 附代码

基于海洋捕食者算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于海洋捕食者算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于海洋捕食者优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要:针…

安卓手机投屏到电视,跨品牌、跨地域同样可以实现!

在手机网页上看到的视频,也可以投屏到电视上看! 长时间使用手机,难免脖子会酸。这时候,如果你将手机屏幕投屏到大电视屏幕,可以减缓脖子的压力,而且大屏的视觉体验更爽。 假设你有一台安卓手机,…

初级程序员如何进阶

作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO 联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬 疑问的无限递归 我刚入…

回归预测 | Matlab实现HPO-ELM猎食者算法优化极限学习机的数据回归预测

回归预测 | Matlab实现HPO-ELM猎食者算法优化极限学习机的数据回归预测 目录 回归预测 | Matlab实现HPO-ELM猎食者算法优化极限学习机的数据回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现HPO-ELM猎食者算法优化极限学习机的数据回归预测(…

【蓝桥杯选拔赛真题21】C++行李运费 第十二届蓝桥杯青少年创意编程大赛C++编程选拔赛真题解析

C/C++行李运费 第十二届蓝桥杯青少年创意编程大赛C++选拔赛真题 一、题目要求 1、编程实现 乘坐飞机时,行李超出规定重量后,会对行李进行托运且收取托运费。 以下是某航空公司行李托运的收费标准:“行李重量在 20 公斤内(含 20)按照每公斤 10 元收取费用,超过 20 公斤的…

麻将馆电脑计费系统,棋牌室怎么用电脑控制灯计时,佳易王计时计费系统软件下载

麻将馆电脑计费系统,棋牌室怎么用电脑控制灯计时,佳易王计时计费系统软件下 棋牌室电脑灯控系统,需要安装一个灯控器,软件发出开灯和关灯的指令,相应的灯就打开或关闭。在点击开始计时的时候,开灯&#xff…

后端技术知识点内容-全部内容-面试宝典-后端面试知识点

文章目录 -2 flink-1 linux of viewlinux查看占用cup最高的10个进程的命令; 〇、分布式锁 & 分布式事务0-1分布式锁--包含CAP理论模型概述分布式锁:分布式锁应该具备哪些条件:分布式锁的业务场景: 分布式锁的实现方式有&#…

如何使用websocket+node.js实现pc后台与小程序端实时通信

如何使用websocketnode.js实现pc后台与小程序端实时通信 一、使用node.js创建一个服务器二、pc后台连接ws三、小程序端连接ws四、实现效果 实现功能:实现pc后台与小程序端互发通信能够实时检测到 一、使用node.js创建一个服务器 1.安装ws依赖 npm i ws2.创建index.js const…

酷柚易汛ERP - 盘点操作指南

1、应用场景 盘点功能是定期或临期对库存货物进行清点,使账面记录与实际库存相符合,从而随时掌握货物盈亏状态。 2、主要操作 2.1 盘点商品查询 打开【仓库】-【盘点】新增盘点单,筛选需要盘点的日期范围、库存及相应商品 2.2 录入盘点数…

系列七、GC垃圾回收【四大垃圾算法-标记压缩算法】

一、原理 在整理压缩阶段,不再对标记的对象回收,而是通过所有存活对象都向一端移动。可以看到,标记的存活对象将会被整理,按照内存地址依次排列。如此一来,当我们需要给新对象分配内存时,JVM只需要持有一个…

Redis篇---第七篇

系列文章目录 文章目录 系列文章目录前言一、是否使用过 Redis Cluster 集群,集群的原理是什么?二、 Redis Cluster 集群方案什么情况下会导致整个集群不可用?三、Redis 集群架构模式有哪几种?前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分…