一、背景
无监督的GAN中，生成器G将噪音变量z映射到想要的真实图像x，但由于没把真实的图像作为输入，即没有使用训练好的模型进行后续的图像处理。
为了让训练好的GAN能用于处理图像，现有如下两种方法将真实图像x映射到噪音空间z：
- 重新反向传播（寻找合适的Z）
- 添加一个额外的编码器encoder
但多数情况下上述两种方式的重建并不理想，对此本文提出一种新的逆映射（x->z）的方法：将训练好的GAN作为一个有效的先验去对后续的图像进行处理。
二、多码先验GAN介绍
- 使用给定做逆映射的GAN模型，将噪声z生成多个特征图（映射到生成器G中的某个中间层）
- 计算生成的多个特征图的重要系数，并组合生成目标图像
优势：显著提高图像的重建质量，可以使得训练好的GAN作为一种先验应用于许多真实场景下的应用，例如：图像上色、超分辨率、图像修复、图像语义物体编辑等。
三、关键技术
1.GAN逆映射（GAN inversion）
无监督的GAN：从噪音空间z中采用合成高质量图像，z->image
GAN逆映射：为了恢复目标图像而寻找合适的噪音空间z，image->z
2.特征组合
单码的缺陷：
- 分别使用face、church、conference room、bedroom四个数据集预训练PGGAN，并以此作为先验。使用单码去重建时，很难“覆盖先验”，出来的结果会呈现原训练集图像内容，而无法重建到目标图像。
- 由于使用单码去重建目标图像的所有细节很难，对此使用多码的方式，可以将复杂任务进行细化地重建。
如何将多码结合一起优化，进行融合后重建？将生成器“分为”两部分，G1和G2，L是中间某层的特征输出，提出“自适应通道重要性”（Adaptive Channel Importance）。
3.优化目标
重建损失使用的是MSE和VGG的感知损失距离：
四、应用
1.图像上色
2.图像超分
3.图像修复
参考：
CVPR2020之多码先验GAN：预训练模型如何使用？_公众号机器学习与生成对抗网络的博客-CSDN博客
