一.通读

1.NIPS 2016 Tutorial：《Generative Adversarial Networks》

这是Ian Goodfellow的一个教程，介绍了GANS的重要性、它们的工作原理、与它们相关的研究前沿以及将GANS与其他方法结合起来最前沿的视觉模型。本教程首先介绍GANS的应用实例。然后，Ian Goodfellow对GANS和其他模型，如变分编码器进行了比较。Goodfellow后来解释了生成器和判别器是如何工作的，并且还描述了它们之间的关系。接下来，Goodfellow给出了改进GANS性能的一些技巧和窍门，以及与GANS相关的一些研究前沿。他还提及了GANS面临的问题，比如模式崩塌。最后，Goodfellow提出了一些实际操作和解决方法。

论文：https://arxiv.org/abs/1701.00160

ppt: http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf

2.《Generative Adversarial Networks: An Overview》

解释GAN架构、训练技术和未解决的挑战。本文很容易被一般读者理解

论文：https://arxiv.org/pdf/1710.07035

二.GAN创建

1 .《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》

这篇论文描述了一种使卷积GAN训练更加稳定的新型结构——深度卷积生成网络（DCGAN）。研究人员给出了这种结构的一些指导方针，例如为更深的结构移除全连接的隐藏层，为生成器和鉴别器使用 batch normalisation，在生成器中为除输出层之外的所有层使用ReLU，以及在鉴别器中的所有层使用LeakyReLU。

论文：https://arxiv.org/pdf/1511.06434

2.《InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets》

本文介绍了InfoGAN，它是一种对生成对抗网络的信息理论扩展，能够以完全无监督的方式学习特征分离表示。InfoGAN也是一个生成对抗网络，最大化潜在变量的一小部分与观察(生成)结果之间的相互信息。我们得出可以有效优化的互信息目标的下限。 具体来说，InfoGAN成功地将MNIST数据集上的数字形状的写作风格，3D渲染图像的照明姿势，以及SVHN数据集中央数字的背景分离。它还发掘包括发型，是否存在眼镜和CelebA面部数据集上的情感等视觉概念。实验表明，InfoGAN可以学习与现有监督方法学习的表征相比具有竞争力的可解释性表征。

论文：https://arxiv.org/pdf/1606.03657

3.《Stacked Generative Adversarial Networks》

• 论文：https://arxiv.org/pdf/1612.04357
• github: https://github.com/xunhuang1995/SGAN

4.《StackGAN: Text to Photo-Realistic Image Synthesis with Stacked Generative Adversarial Networks》

本文是研究文本生成图片的问题，相比于之前的论文不能生成必要的细节和具体的对象，本文着重要解决的问题是提高图片的分辨率同时为图片添加必要的细节。其实stackGAN的原理和做法很类似，可以看作是两个CGAN串联在一起。

论文：https://arxiv.org/pdf/1612.03242.pdf

5.《Generative Adversarial Text to Image Synthesis》

这篇文章的内容是利用GAN来做根据句子合成图像的任务。在之前的GAN文章，都是利用类标签作为条件去合成图像，这篇文章首次提出利用GAN来实现根据句子描述合成图像。
根据句子描述合成图像的任务与其反过程相比（Image caption：给定一张图像，自动生成一句话来描述这张图），Image caption可以转化为根据图片内容和前面的词去预测下一个词，但是对于合成图像，可能有很多种像素的排列都能够表现出当前描述的内容，所以比较困难。要解决句子描述问题，要从两个子问题入手：一是学习好的文本表示，让模型能够准确地捕捉到文本描述信息；二是合成比较真实的图像。文章根据DC-GAN作为基础模型，提出了两点改进方法。

• 论文地址：https://arxiv.org/pdf/1605.05396
• 源码地址：https://github.com/reedscot/icml2016

6.《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》

尽管采用更快更深的卷积神经网络的单幅图像超分辨率的准确性和速度 有了突破,一个核心问题仍然尚未解决:当在大的放大因子下的超分辨时我们如何恢复细小的纹理细节?基于最优化的超分辨率方法主要由目标函数的选择所影响.最近的工作主要集中在最小化均方重构误差.结果评价有较高的峰值信噪比,但是他们往往缺乏高频细节和感官满意度,无法达到超分辨率的预期逼真度.在本文中,我们提出SRGAN,一个为image super-resolution(SR)的generative adversarial network (GAN).据我们所知,这是第一个能够推导出 4*放大因子 的实感自然图像.为了实现这一目标,我们提出一个感知损失函数,它包含了一个adversarial loss(对抗损失)和一个content loss(),对抗损失用一个判别网络将我们的方案推向自然图像manifold(复印本,流形?),判别网络被训练来区分超分辨率图像和原始图像.此外,由于perceptual similarity感知相似而不是像素空间中的 similarity类似,我们使用一个content loss.我们的深度残差网络可以从严重下采样图像中恢复实感图像纹理.扩展平均意见得分(MOS)测试显示使用SRGAN在视觉质量上有显著的提升.用SRGAN获得的MOS得分比那些用其他的先进方法相比,更接近原始高分辨率图像的得分.

• 论文：https://arxiv.org/abs/1609.04802
• 代码(tensorflow)：https://github.com/tensorlayer/srgan

7.《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 》

图像到图像转换是一类视觉和图形问题，其目标是通过训练学习输入图片的风格，将其映射到框架类似的输出图片中。尽管对于很多任务而言，配对训练数据可遇不可求。我们提出了一种在没有配对的情况下从来源域 X 到目标域 Y 进行图像转换的方式。我们的目标是实现 G:X→ Y，其中 G(X) 的图像分布与使用对抗性损失分布的 Y 难以区分。因为映射非常不完全，我们将其以 F:Y→ X 的方式建立映射，同时引入循环一致性损失函数来推动 F(G(X))≈X（反之亦然）。我们在无法配对的训练数据中演示了新方法的成果，其中包括风格迁移、材质改变、季节变化、图像增强等。

论文下载：https://arxiv.org/pdf/1703.10593

8.《Coupled Generative Adversarial Networks》

这篇文章（NIPS2016）是基于Generative Adversarial Networks （GAN）而来的，GAN有两个部分，第一部分是生成器Generator，第二部分是判别器Discriminator。Generator输入时随机变量vector（噪声）， 输出是一个经过层层反卷积出来的图片。 Discriminator是一个判别器，依次输入真实的图片和generator产生的图片。Discriminator需要做到能够正确的区分两者，而generator需要做的是尽量产生足够真实的图片来混淆Discriminator。于是两个相互对抗，最后使得Generator能够从噪声中产生足够真实的图片出来，让discriminator无法区分生成的图片是real还是fake。而couple的意思就是有两个这样的GAN组合在了一起。

论文下载：https://arxiv.org/pdf/1606.07536

9.《Synthesizing the preferred inputs for neurons in neural networks via deep generator networks》

使用基于深度生成器网络的激活最大化(DGN-AM)生成高分辨率的高质量图像。

论文下载：https://arxiv.org/pdf/1605.09304

10.《Plug & play generative networks: Conditional iterative generation of images in latent space》

介绍了一种新技术，该技术克服了DGN-AM的缺陷，通过在潜在代码上添加一个先验来实现的。

论文下载：https://arxiv.org/pdf/1612.00005

11.《Generative Multi-Adversarial Networks》

当你引入一个带有多个鉴别器的GAN时会发生什么?

论文下载：http://pdfs.semanticscholar.org/36f7/a8e1eaa21c6de5de0c80d4a08f6459fd3677.pdf

三.GAN训练技术

每个神经网络都有自己的缺陷，GANs也不例外。GANs训练中最头疼的两个问题是如何生成高质量和高多样性的图像。其他问题包括梯度消失，失败的收敛和网络产生非常相似的样本。

1.《Wasserstein Generative Adversarial Networks》

本文提出了一种Wasserstein GAN（WGAN）来优化GANs的训练过程。借助于WGAN，作者避免了模式崩塌等问题，并提供了可以调试和超参数搜索的学习方式，使用weight clipping来进行了一个Lipschitz约束，但是将在下一篇文章中看到另一种技术，将改进这部分。

论文: https://arxiv.org/pdf/1701.07875

2.《Improved Training of Wasserstein GANs》

这篇论文发现，有时WGAN可能会出现不满意的结果，如产生不好的例子，不能收敛等。这是由于上面提到的weight clipping的使用。在这个工作中，研究人员提出了一种替代weight clipping命名梯度惩罚的方法，把这种结构称为WGAN-GP，并表明这种技术的使用极大地提高了WGAN的性能。

论文: https://arxiv.org/pdf/1704.00028

3.《Towards Principled Methods for Training Generative Adversarial Networks》

该论文旨在对之前的GAN模型进行数学层面的理论分析，解释之前GAN模型存在的以下几个问题：
a.为什么在判别器变好的时候，生成器更新会变得糟糕，无论是使用最初的或者新的损失函数；
b.为什么GAN的训练很不稳定；
c.有没有什么方法可以处理上述问题；

论文：https://openreview.net/pdf?id=Hk4_qw5xe

4.《Least Squares Generative Adversarial Networks》

这篇文章说如果用sigmoid交叉熵的损失函数会将决策边侧认定为正确的假的样本地更新生成器的梯度消失，非常绕口，个人理解应该是损失函数不好，有些假的样本也会通过辨别器。因此这边文章改了损失函数，Least Squares Generative Adversarial Networks (LSGANs) 这种方法将辨别器采用最小乘方的损失函数方法，因为这种方法可以惩罚离正确的决策边缘远的地方的样本，同时，最小化目标函数比最小化Pearson χ 2 divergence更好

论文：https://www.cs.cityu.edu.hk/news/seminars/sem2017-2018_no04.pdf

5.《Unrolled Generative Adversarial Networks》

目的是通过在生成器更新过程中引入代理目标来稳定生成对抗网络(GANs)。

论文下载：https://arxiv.org/pdf/1611.02163

6.《Generative Adversarial Networks (GANs): What it can generate and What it cannot? 》

一个全面的概述在训练GANs时候的挑战和方法。

论文下载：http://arxiv.org/pdf/1804.00140

四.有条件GANs

原始GAN的一种变体，将附加信息添加到生成器和鉴别器的输入中。

1.《Conditional Generative Adversarial Nets》

生成对抗模型介绍了一种新颖的训练生成模型的方式。在这篇论文中我们介绍生成对抗模型加有条件的版本，它的构造可以通过简单的喂数据的方式，y，我们希望在生成器和判别器都能够加条件。我们展示了通过添加类标签，该模型可以产生MNIST手写数字。我们也阐述了如何使用该模型去学习一个多模式的模型，并且提供了一个图像标签应用的初步的例子，在该例子我们证明了这种方法如何产生不是训练标签一部分的描述性的标签。

论文下载：https://arxiv.org/pdf/1411.1784

2.《Image-to-Image Translation with Conditional Adversarial Networks 》

本文研究将条件生成对抗网络作为图像转换问题的通用解决方案。该网络不仅可以学习输入图像到输出图像的映射关系，还能够学习用于训练映射关系的loss函数。这使得我们可以使用同一种方法来解决那些传统上需要各种形式loss函数的问题。我们证明了该方法可以有效实现下列任务：从标签图合成相片，从线稿图重构对象，给图片上色等。所以我们不再需要人工设计映射函数，而且这项工作表明，我们即使不手动设计loss函数，也能达到合理的结果。

论文下载：https://arxiv.org/pdf/1611.07004

五.2018年关于GANs的论文

1.《Are GANs Created Equal? A Large-Scale Study 》

生成对抗网络（GAN）是生成模型的一个强大的子类。尽管这一领域的研究活动非常丰富，产生了许多有趣的GAN算法，但仍然很难评估哪个（哪些）算法比其他算法更好。在本研究中，我们对那些声称state-of-the-art的模型和评估方法进行了一个中立的、多角度的大规模实证研究。我们发现，大多数模型可以通过足够的超参数优化和随机重启获得差不多的得分。这表明，改进可能是来自更高的计算预算和比基本的算法变化更多的调参。为了克服当前的指标（metric）的一些限制，我们还提出了几个可以计算精度（precision）和召回率（recall）的数据集。我们的实验结果表明，未来的GAN研究应该建立在更系统、客观的评估程序基础上。最后，我们没有发现本研究所测试的任何一个算法一直优于原始算法的证据。

论文下载：https://arxiv.org/pdf/1711.10337

2.《An Introduction to Image Synthesis with Generative Adversarial Nets 》

近年来，生成性对抗网络（GAN）的研究得到了迅猛的发展。GAN提出于2014年，已经应用于计算机视觉和自然语言处理等各种应用，并取得了令人印象深刻的性能。在GAN的众多应用中，图像合成是最受关注的一种，这方面的研究已经证明了GAN在图像合成中的巨大潜力。本文给出了图像合成中使用的方法的分类，回顾了文本到图像合成和图像到图像翻译的不同模型，并讨论了一些评估指标以及GAN在图像合成中可能的未来研究方向。

论文下载：https://arxiv.org/pdf/1803.04469

3.《Evolutionary Generative Adversarial Networks 》

生成对抗网络（GAN）能够有效地为真实数据学习生产模型。然而，现有的GANs（GAN及其变体）往往存在诸如不稳定性和模式崩溃等训练问题。在本文中，我们提出一种新的GAN框架，称为进化生成对抗网络（E-GAN）来稳定GAN训练和提高生成性能。传统的GANs一般采用提前定义好的对抗目标迭代地训练Generators和Discriminator，而我们利用不同的对抗训练目标作为变异算子，并演化为Generators种群来适应对抗Discriminator。我们同时利用一种评价机制测试生成样本的质量和多样性，以便保留良好性能的Generator并用于进一步训练。这样，E-GAN克服了单个对抗训练目标的局限性，能够一直保留最好的后代，有助于GAN的进步和成功。实验结果也验证了E-GAN良好的性能。

• 论文下载：https://arxiv.org/pdf/1803.00657
• 代码：https://github.com/WANG-Chaoyue/EvolutionaryGAN

4.《Synthesizing Audio with Generative Adversarial Networks 》

论文下载：https://arxiv.org/pdf/1802.04208v1

5.《Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks 》

了解人体运动行为对于自动移动平台（如自动驾驶汽车和社交机器人）来说至关重要，如果他们要驾驭以人为中心的环境。 这具有挑战性，因为人体运动本质上是多模态的：考虑人在过去一段时间的路径，可以在将来采取许多社交合理的方式选择路径。 我们通过组合序列预测和生成对抗网络的工具来解决这个问题：循环序列到序列模型观察运动历史并预测未来行为，使用新的汇集机制来汇总人们的信息。 我们通过对抗经常性的鉴别者来对抗，从而预测社交可信的未来，并通过新的多样性损失鼓励多样化的预测。 通过对几个数据集的实验，我们证明了我们的方法在准确性，多样性，碰撞避免和计算复杂性方面优于先前的工作。

论文下载：https://arxiv.org/pdf/1803.10892

6.《Spectral Normalization for Generative Adversarial Networks》

这篇文章提出一种称为spectral normalization的新的权重归一化技术，以稳定GAN鉴别器的训练。
在高维空间中，鉴别器做出的密度比例估计往往不准确，而且在训练中非常不稳定，生成器网络也难以学到目标分布的多模态结构。更糟糕的是，当生成的和目标数据分布区域不相交的时候，就存在着一个能完美区分生成的数据和目标数据的鉴别器。一旦遇到了这样的状况、训练出了这样的鉴别器，生成器的训练就基本停滞了，因为这样产生的鉴别器的关于输入的导数就成了0。这种情况让作者们思考如何引入一些新的限制，避免训练出这样的鉴别器。在这篇论文中，作者们提出了一种新的权重正则化方法，称作“spectral normalization”（光谱标准化），它可以稳定鉴别器网络的训练过程。这种正则化方法的性质很让人喜欢：
（1）只需要调节Lipschitz常数一个超参数，而且想到达到令人满意的模型表现也不需要反复调试仅有的这一个参数；
（2）方法的实现非常简单，额外的计算开销也很小。

论文: https://arxiv.org/pdf/1802.05957