wgan之前, 原始GAN出现了什么问题?
https://www.cnblogs.com/Allen-rg/p/10305125.html
WGAN
WGAN成功的做到了以下几点:、
- 彻底解决GAN训练不稳定的问题,不再需要小心平衡生成器和判别器的训练程度
- 基本解决了collapse mode的问题,确保了生成样本的多样性
- 训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程,这个数值越
小代表GAN训练得越好,代表生成器产生的图像质量越高(如题图所示)- 以上一切好处不需要精心设计的网络架构,最简单的多层全连接网络就可以做到
相比原算法,WGAN改变了以下几点:
- 判别器最后一层去掉sigmoid
- 生成器和判别器的loss不取log
- 每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定常数c
- 不要用基于动量的优化算法(包括momentum和Adam),推荐RMSProp,SGD
训练技巧:D和G交替训练,训练多次D再训练一次G
WGAN的损失函数,使用EM距离:
原文:https://www.cnblogs.com/zhouyc/p/12643639.html