11 December 2019
20:32
来自 <https://zhuanlan.zhihu.com/p/44563641>
? ?
StarGAN是CVPR2018最新提出来的，用于多领域的图像迁移学习。
论文地址：https://arxiv.org/abs/1711.09020
代码地址（Pytorch）：https://github.com/yunjey/StarGAN
-----------------------------------------------------------------------------------------------
Pix2Pix模型解决了有Pair对数据的图像翻译问题；CycleGAN解决了Unpaired数据下的图像翻译问题。但无论是Pix2Pix还是CycleGAN，都是解决了一对一的问题，即一个领域到另一个领域的转换。当有很多领域要转换了，对于每一个领域转换，都需要重新训练一个模型去解决，即现有的GAN模型为了实现在k个不同的风格域上进行迁移，需要构建k?(k?1)个生成器，并且还不能跨数据集训练（标注不能复用）。StarGAN正是为了解决跨多个域、多个数据集的训练而提出的。在StarGAN中，并不使用传统的fixed translation（(e.g., black-to-blond hair），而是将域信息和图片一起输入进行训练，并在域标签中加入mask vector，便于不同的训练集进行联合训练。对比如下图所示;
本文贡献：
要想让G拥有学习多个领域转换的能力，本文对生成网络G和判别网络D做如下改动：
其中G和D的网络训练过程如下图所示：
-----------------------------------------------------------------------------------------------
本文的损失函数
首先是GAN网络通用的损失函数Adversatial Loss，以判断输出的图像是否真实：
其次是类别损失，该损失被分为两个，训练判别网络D的时候，使用真实图片在原始领域的监督信号进行训练；而训练生成网络G的时候，使用生成之后的图片在目标领域的监督信号进行训练。其中训练D的损失如下（交叉熵损失）：
训练G的损失如下：
最后一个损失函数是重建损失，主要目的是保证图片翻译过程中非关键的图片内容信息保存下来，其中损失函数如下（L-1 norm）：
汇总之后是:
-----------------------------------------------------------------------------------------------
多训练集进行训练
在多数据集下训练StarGAN存在一个问题，那就是数据集之间的类别可能是不相交的，但内容可能是相交的。比如CelebA数据集合RaFD数据集，前者拥有很多肤色，年龄之类的类别，而后者拥有的是表情的类别。但前者的图像很多也是有表情的，这就导致前一类的图像在后一类的标记是不可知的。为了解决这个问题，在模型输入中加入了Mask，即如果来源于数据集B，那么将数据集A中的标记全部设为0。
-----------------------------------------------------------------------------------------------
网上其他StarGAN介绍参考：
https://blog.csdn.net/stdcoutzyx/article/details/78829232
https://www.cnblogs.com/punkcure/p/7977819.html
原文笔记：
-----------------------------------------------------------------------------------------------
? ?
-----------------------------------------------------------------------------------------------
原文：https://www.cnblogs.com/sddai/p/12024996.html