title

Cartoon-Stylegan : Fine-Tuning stylegan2 for cartoon face generation

author

Jihye Back

Link

论文地址：here

Code：here

Abstract

背景介绍等

本文通过finetune Stylegan2模型，完成图像到图像的翻译，为了使源图像和目标图像相似，例如制作成对图像，提出了两种方法：

（1）FreezeSG （冻结style向量和generator的初始blocks）。这个很简单，并且可以令目标图像遵循源图像的结构。

（2）Structure Loss（减小源generator和目标generator之间初始block的距离）。在这种loss训练下的模型加入层交换，效果也十分显著。

Method

Baseline : StyleGAN2-ADA + FreezeD

这种结构可以生成逼真的图像，但是它无法保持源域的结构。

Ours : FreezeSG (Freeze Style vector and Generator)

上图是通过相加style vector不同层，得到的实验结果。在Stylegan2中，style vector为n * 18 * 512，上图可以发现保留4层后，源图的结构也能大致留下。所以这也是作者想要冻结style vector低分辨率层的原因。

Freeze Style vector and Generator

with Layer Swapping

关于层交换，作者描述的不多，但是是借鉴于https://arxiv.org/abs/2010.05334这篇文章。原文中的介绍如下：

可以理解为，交换原generator和新generator低分辨率层的权重。（但目前存在的疑问在：如果通过其他pretrained模型进行fintune，冻结了低分辨率层，不也是相当于作了层交换…此处存疑）

Ours : Structure Loss

由于低分辨率层下优先确定图像结构，我将Structure Loss应用于低分辨率层的值，以便生成的图像与源域中的图像相似。 Structure Loss使得源生成器的 RGB 输出在训练期间被微调到与目标生成器的 RGB 输出具有相似的值。

Results

下面来看一看CartoonGAN生成的效果。

总结

该篇文章更像是作者的实验笔记，在实验过程中验证了记录下来的心得体会。

• 作者在前人的基础上，加入了冻结style vector的想法，试验效果良好
• 加入了structure loss，控制新generator生成的图像更贴近源generator生成的图像（更相似）
• 加入了Layer swap（合并其他的项目）