StarGAN 使用指南
- 网络结构
- 多数据集训练
- 使用指南
- StarGAN v2
论文地址：https://arxiv.org/pdf/1711.09020.pdf
我们有猫的图片集、狗的图片集和兔子的图片集。
目标是让猫的图片看起来像狗的图片，狗的图片看起来像兔子的图片，兔子的图片看起来像猫的图片。
这是一个多领域迁移的问题。
如果使用传统 GAN 不能解决多领域迁移的问题，只能两个领域的互相转化，只能用多个传统 GAN。
那有没有什么方法，一个模型就能实现多个域的迁移呢？StarGAN。
网络结构
传统 GAN 和 StarGAN，在域迁移上差异：
传统的域迁移 需要在不同的两个域之间相互进行特征提取，这就导致在有 k 个域的情况下需要 k*(k-1) 个生成器。
比如上文的 3 个数据集，需要 3*2 个生成器来完成所有可能的域之间的转换。
- 猫到狗的生成器：用于将猫的图片转换为狗的图片
- 猫到兔子的生成器：用于将猫的图片转换为兔子的图片
- 狗到猫的生成器：用于将狗的图片转换为猫的图片
- 狗到兔子的生成器：用于将狗的图片转换为兔子的图片
- 兔子到猫的生成器：用于将兔子的图片转换为猫的图片
- 兔子到狗的生成器：用于将兔子的图片转换为狗的图片
而 starGAN 则解决了这个问题，自始至终只需要一个生成器。
核心思想：通过一个域标签向量来控制多个域的转换。
看上图，生成器（蓝色区域）：
- 左一：把输入图像（Input image）、目标域（Target domain）拼接，输入生成器（G），得到假的图片（Fake image）
- 左二：再把假图（Fake image）、原来域（Original domain）拼接，输入生成器（G），得到重建图像（Reconstructed image）
- 循环箭头：对比重建图像和原图之间，要最小化误差，循环这个过程（变到目标域，再变回源域）
判别器（红色区域）：
- 把假图（Fake image）、真实图像（Real image）分别输入判别器
- 判别器不仅要判断真假，还要判断来自哪个域
多数据集训练
假设我们要训练一个模型来识别动物的图片，我们有三个数据集：猫的图片集、狗的图片集和兔子的图片集。
如果我们只使用单个数据集来训练模型，那么模型可能会对其他动物的图片识别能力较弱。
多数据集训练：如果我们将三个数据集合并成一个大的数据集，并在训练过程中同时使用这三个数据集，模型就可以获得更多的样本和不同种类的动物图片，从而提高识别能力。
判别器部分：
- CelebA 是人脸数据集（黄色）
- RaFD 是人脸表情数据集（绿色）
生成器部分：
- 蓝色框 Mask vector 是掩码向量，只选择 CelebA 训练或者 RaFD 训练
- 黄色框 CelebA 是人脸数据集
- 绿色框 RaFD 是人脸表情数据集
使用指南
项目代码：https://github.com/yunjey/stargan.git
StarGAN v2
