1. 总导读：

以往Inpainting出现了基于语义的方法以及基于纹理的方法，但是将二者分立来看会导致荒谬的结果以及边缘的模糊。比如，仅通过轮廓是肯定绘制不出动物的皮毛那种感觉的，也肯定绘制不出绿色的感觉。因此这篇论文在相干先验（尽可能使纹理与语义具有一致性）的基础上引入了语义与纹理相结合的方法。并采用重建损失、对抗性损失和相干性损失来提高图像的逼真度。采用交叉熵损失来保证预测分割图的准确性。

2. 详细介绍：

本文提出了两种新的设计方法:
（1）使用语义智能注意传播(SWAP)模块显式捕获未知区域(缺失区域)与已知区域之间的语义相关性;因此，当语义映射到图像纹理时，填充一个未知的patch只指代那些语义相同的已知patch，而不是整个图像，避免了不相关的纹理填充。
（2）设计了两个损失项（如下图所示）来学习全局和局部的一致性关系。利用图像级结构相干损耗监督图像与相应分割图之间的结构匹配，生成清晰的图像边界。此外，非局部斑块级的一致性损失旨在评估斑块纹理在语义域中的分布，以鼓励生成的纹理与匹配的已知相同语义的斑块相似。
Non-local Path Coherence Loss.：最大化纹理相似性
Structure Coherence Loss:引入纹理条件判别器Dt来检测给定真实图像的预测分割图的“伪”，而训练语义条件判别器Ds来检测给定真实图像的嵌入图像的“伪”。

他们的贡献如下三点：
（1）引入了相干先验，强调了图像内画中语义和纹理之间的相互一致性，并设计了两个相干损失，以提高语义信息和内画图像在全局结构和局部纹理层次上的一致性。
（2）提出了一种基于语义的注意传播模块，该模块通过在特征映射中捕获距离关系并引用相同语义的纹理特征来生成语义逼真的纹理。
（3）就边界的清晰度、纹理的一致性和视觉可信性而言，我们的方法在用多个语义区域完成复杂孔洞方面优于现有的最先进的图像修复方法。

基于注意的方法利用上下文注意选择已知的区域作为参考来补全缺失的区域，但这种方法无法区分不同语义的patch，从而导致注意传播过程中边界模糊，语义混淆。与这些方法不同的是，SWAP通过匹配语义感知特征的缺失patch和基于一致性先验的已知patch来计算注意力得分。在每个语义部分中，每个patch的注意力得分是通过缺失区域和已知区域之间的patch亲和度来评估的，使用归一化内积，然后再进行softmax操作,然后通过两个损失项来学习全局和局部的一致性关系。

最后，他们采用重建损失、对抗性损失和相干性损失来提高图像的逼真度。采用交叉熵损失来保证预测分割图的准确性。
模型对比结果如下：