深度生成模型之GAN优化目标设计与改进

原始GAN优化目标的问题

1. JS散度度量问题

• 不合适的度量准则

2. 梯度问题

• 梯度消失与不稳定

优化目标的设计与改进

1. 最小二乘损失GAN

• Least Squares GAN， 惩罚生成器生成的远离决策面的样本，即可将样本拉近决策面，从而可避免梯度消失问题

2. Energy-based GAN(EBGAN)

• 使用自编码器学习样本重建，生成器作为自编码器的正则项，更自由的目标函数，更稳定的训练

3. Wasserstein GAN

• 使用Earth-Mover距离(EM距离，推土机距离)作为优化目标，为在最优路径规划下的最小消耗

• Wasserstein距离等价形式

• Wasserstein梯度与优化目标

4. WGAN-GP

• 对Wasserstein GAN添加梯度惩罚

5. Boundary Equilibrium GAN(BEGAN)

• 对判别器和生成器的能力进行均衡

6. Loss Sensitive GAN

• 判别器被称为损失函数L_θ(x),他对来自训练数据集中的样本x应该有较小的损失数值，对来自生成器G的样本G_Φ(z)应该有比较大的损失数值

• 当生成样本与真实样本距离不够远，产生有效损失；超过一定距离，损失为常数。

7. Relativeistic GAN

• Relativistic判别器， “给定的真实数据”比“随机抽样的假数据”更高的概率