0
点赞
收藏
分享

微信扫一扫

【论文阅读】Universal Style Transfer via Feature Transforms

芒果六斤半 2022-04-16 阅读 59

关于图像白化和色彩变换的基本内容可以参考:

图像标准化、图像白化、色彩变换_S L N的博客-CSDN博客        

        这是一篇关于图像风格迁移的论文,主要提出了whitening and coloring transforms(WCTs)来进行风格的迁移。

        首先采用VGG网络对图像重建来训练网络,将训练好的VGG的encoder和decoder都fixed,用于图像特征提取和重建,损失函数如式(2.1)所示,Φ是通过encoder提取feature map。

 

 图4 图像重建

        Encoder和decoder训练好后,如图 5所示,将content image和style image通过encoder提取feature map,对feature map进行WCT进行特征迁移,WCT将content feature的统计特征和style feature的统计特征匹配,再将得到的feature map通过decoder重建。

 5 WCT

        Whitening transform的公式如式(2.2)所示,从图 6可以看出whitening保留了图像的全局内容结构,移除了图像本身的风格特征。

6 whitening transform

        Coloring transform的公式如式所示,从图 7中可以看出WCT的效果会比直方图匹配(HM)的效果好很多,这应该是WCT考虑了不同特征的相似度的原因,HM是在每个通道上做的。

7 WCT和HM对比

        通过式(2.4)中的α来控制风格化的程度,

        文中把single-level扩展到了multi-level,将前一层的输出作为后一层的content image输入,这样可以在不同的level进行统计特征匹配。 

图 8 multi-layer

        如图 9所示,lower level可以捕捉更低级的信息比如颜色,higher level可以捕捉到更复杂的局部结构。

9 不同level的输出

参考文献

  1. Li Y, Fang C, Yang J, et al. Universal style transfer via feature transforms[J]. Advances in neural information processing systems, 2017, 30.

举报

相关推荐

0 条评论