(1)GAN改进系列 | 最新ICCV2021生成对抗网络GAN论文梳理汇总
图像编辑系列之(2)基于StyleGAN(3)GAN逆映射(4)人脸 (5)语义生成 | ICCV2021生成对抗GAN梳理汇总
图像恢复系列之(6)超分(7)反光去除(8)光斑去除 (9)阴影去除(10)水下图像失真去除 | ICCV2021生成对抗GAN
图像恢复系列(11)之修复(inpainting) | 最新ICCV2021生成对抗网络GAN论文梳理汇总
图像检测系列之(12)异常检测(13)拼接伪造(14)deepfake | ICCV2021生成对抗GAN汇总梳理
十五、图像分割
40 Unsupervised Segmentation incorporating Shape Prior via Generative Adversarial Networks
无监督的图像分割算法,由于光照变化和遮挡等干扰因素,对象边界效果并不理想。提出一种无监督的图像分解算法,获得鲁棒的内在表示。使用简单而说明性的合成示例和用于图像分割的基准数据集,证明所提出算法的有效性和鲁棒性。
41 InSeGAN: A Generative Approach to Segmenting Identical Instances in Depth Images
提出 InSeGAN,无监督的 3D 生成对抗网络 (GAN),用于在深度图像中分割刚性物体实例。使用合成分析方法,设计了一种新的 GAN 架构来合成多实例深度图像,并对每个实例进行独立控制。
InSeGAN 接收一组代码向量(例如,随机噪声向量),每个向量编码一个对象的 3D 姿态,该对象由学习的隐式对象模板表示。生成器有两个不同的模块。第一个模块,实例特征生成器,使用每个编码姿势将隐式模板转换为每个对象实例的特征图表示。第二个模块,深度图像渲染器,聚合第一个模块输出的所有单实例特征图并生成多实例深度图像。鉴别器将生成的多实例深度图像与真实深度图像的分布区分开来。为进行实例分割,提出一个实例姿势编码器,它学习接收生成的深度图像并为所有对象实例重现姿势代码向量。
为评估,引入了一个新的合成数据集“Insta-10”,它由 100,000 张深度图像组成,每个图像有 5 个来自 10 个类别的对象实例。在 Insta10 以及真实世界嘈杂深度图像上的实验表明,InSeGAN 实现了最先进的性能。
十六、图像外插值-图像延展-外推
42 SemIE: Semantically-aware Image Extrapolation
提出一种语义感知的新范式来执行图像外修复(image extrapolation),从而可以添加新的对象实例。此前方法局限于只能扩展图像中已存在的对象。但所提出的方法不仅关注(i)扩展已经存在的对象,还关注(ii)基于上下文在扩展区域中添加新对象。
对于给定的图像,首先使用语义分割方法获得对象分割图;分割图被输入网络以计算外推语义分割和相应的全景分割图。输入图像和获得的分割图进一步用于生成最终的图像。对 Cityscapes 和 ADE20K 卧室数据集进行实验,并表明在 FID 等指标的优越性。
https://semie-iccv.github.io/