文章目录

• FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for Blind Face Inpainting
• • Preprocess：Training Data Generation
  • Part 1：Tranformer-based Mask Detection Module
  • • FAD(Frequency Anomaly Detector)
    • CViT(Convolutional Vision Transformer)
  • Part 2 TDRefine Inpainting Module
  • 训练过程
  • References

FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for Blind Face Inpainting

• FT-TDR(Frequency-guided Transformer and Top-Down Refinement Network) = Transformer-based Mask Detection + TDRefine Inpainting

Preprocess：Training Data Generation

• Generate the masked image for training:

$$I_{m_{con}}=I_{gt}⨀(1-M_{bin})+M_{con}⨀M_{bin}$$

$I_{gt}$: uncorrupted ground truth face image

$I_{m_{con}}$: masked image that model generated

$M_{bin}$: binary mask

$\{\begin{array}{l}{M}_{bin}=0,knownpixels\\ M_{bin}=1,corrputedpixels\end{array}$

$M_{con}$: noisy visual signal

$⨀$: Hadamard product operator

• Note: 训练过程中，$M_{bin}$和$M_{con}$是随机选择的，两者之间没有关联。

Part 1：Tranformer-based Mask Detection Module

• 利用${\theta }_m$参数化建模${\mathcal{G}}_M$

$${\hat{M}}_{bin}={\mathcal{G}}_M\left(I_{m_{con}};{\theta }_m\right)$$

${\hat{M}}_{bin}$: predicted binary mask

• 将生成的掩膜${\hat{M}}_{bin}$和受损的输入图片$I_{m_{con}}$融合，得到binary-masked image$I_{m_{bin}}$，作为下一阶段Part 2 的输入。

$$I_{m_{bin}}=I_{m_{con}}⨀(1-{\hat{M}}_{bin})+{\hat{M}}_{bin}$$

• TMDM(Transformer-based Mask Detection Module) = FAD(Frequency Anomaly Detector) + CViT(Convolutional Vision Transformer)
• 损失函数：交叉熵损失+dice loss

FAD(Frequency Anomaly Detector)

• 利用一下方法检测视觉不一致区域信号：

$$D_{\text{high }}=\mathcal{F}\left(DCT\left(I_{m_{\text{con }}}\right),\alpha \right)$$

首先利用DCT变换将$I_{m_{\text{con }}}\in {\mathbb{R}}^{H\times W\times 3}$从RGB空间转换为频率空间；然后利用手工过滤器过滤低频信息，从而得到视觉不一致区域的高频信息信号。

$\mathcal{F}$: high-pass filter

$\alpha$: manually-chosen threshold，控制要过滤掉的频率分量

$D_{\text{high }}\in {\mathbb{R}}^{H\times W\times 1}$: 输入受损图像$I_{m_{\text{con }}}$的高频率分量

• 利用逆DCT将滤波后的信号转换回RGB空间，得到frequency-aware representation（目的是为了保持变换的invariance和自然图像局部一致性blablabla…）

$$F=DC{T}^{-1}\left(D_{high}\right),F\in {\mathbb{R}}^{H\times W\times 1}$$

CViT(Convolutional Vision Transformer)

• 将输入图像$I_{m_{\text{con }}}$reshaped into a squence of flattened patches

{ z i } i = 1 P ,  where  z i ∈ R 1 × Q ， P 为 序 列 的 长 度 \left\{z_{i}\right\}_{i=1}^{P}, \text { where } z_{i} \in \mathbb{R}^{1 \times Q}，P为序列的长度 {zi​}i=1P​, where zi​∈R1×Q，P为序列的长度

在这篇文章中，P=64，Q=$(H/8)\times (W/8)\times 64$

reshaped之后就add position embeddings，得到最终的feature vector然后输入进L stacked transformer encoders。

• 每个encoder层都是标准结构（多头注意力块+多层感知机）

对于每个head $h$，利用全连接层将feature vector和query，key，value embedding $q^h,k^h,v^h$分别映射。然后利用如下公式计算不同heads的注意力图$A^h$：
$$A_{i,j}^h=\mathrm{Softmax}\left(\frac{q_i^h{k}_j^{h\top }}{\sqrt{d_k}}\right)$$
i,j: position index

$d_k$: key embedding的维度

然后，将得到的不同head的注意图沿第一维度连接起来，以获得最终的self-attention 图$A\in R^{N_h\times P\times P}$，$N_h$是head数量。

• 注意力图中加入频率分量。首先利用几个卷积层将frequency-aware representation F转换为频率模态注意力图$A_{\text{frep }}\in {\mathbb{R}}^{C\times P\times P}$

$$A_{\text{dual }}=\mathrm{Softmax}\left({\mathrm{conv}}_{1\times 1}\left(\left[A,A_{freq}\right]\right)\right)$$

首先先将$A,A_{freq}$沿着第一维度连接concat。然后利用一个1x1的卷积将通道数转换回$N_h$。而后计算output=weighted summation of the attention weights and values $v^h$of relavant patches,output和input之间有个一残差连接，而后送进MLP处理。

• 将序列输出reassemble成2D feature map $T\in {\mathbb{R}}^{H/8\times W/8\times 64}$
• 在transformer架构顶部加入Patch Similarity Block（PS Block），获得边缘图E：

$$E_i=\frac{1}{|\Omega |}\sum _{j\in \Omega }\mathrm{Sim}\left(T_i,T_j\right)$$

$\Omega$: a small neighboring patch in the feature map T around i（文中将该数值设为9）

Sim(,): 使用余弦相似度

• 然后，将边缘图E和输入特征图T相加得到一个保留边缘的特征图$F_{edge}$

• 最后利用连续的双线性上采样层和1x1卷积逐步提高$F_{edge}$的空间分辨率，并获得最终的掩膜检测结果${\hat{M}}_{bin}$

Part 2 TDRefine Inpainting Module

• 模型${\mathcal{G}}_P$基于encoder-decoder基础架构。

$$I_{\text{pred }}={\mathcal{G}}_P\left(I_{m_{bin}},{\hat{M}}_{bin};{\theta }_p\right)$$

其中${\theta }_p$表示网络参数

• 首先将$I_{m_{bin}}$作为输入，利用Landmark Prediction Module算法（略）获得面部关键点$L_{ldmk}$。
• 然后将$L_{ldmk}$、$I_{m_{bin}}$、${\hat{M}}_{bin}$连接（concat），作为第一个TDRB block的输入。
• TDRefine模块的自底向上路径包含一个编码器，该编码器会下采样两次，然后是7个扩张卷积的残差块和一个长短期注意力块。
• 自上而下的路径中有几个Top-Down Refinement fusion blocks（TDRB）

$${\varphi }_{d_{i+1}}=\mathrm{TDRB}\left({\varphi }_{d_i},{\varphi }_{e_{i+1}},m_{i+1}\right)$$

${\varphi }_{d_i}$: 自上而下路径生成的特征图

${\varphi }_{e_{i+1}}$: 编码器层的特征图

$m_{i+1}$: 预测的掩膜，表明代填充区域

首先利用de-convolution层上采样${\varphi }_{d_i}$，使之和${\varphi }_{e_{i+1}}$大小相同，然后将两者根据掩膜$m_{i+1}$提供的信息融合：
$${\tilde{\varphi }}_{d_{i+1}}={\mathrm{conv}}_{1\times 1}(\left(\mathrm{deconv}\left({\varphi }_{d_i}\right)\odot m_{i+1}+{\varphi }_{e_{i+1}}\odot \left(1-m_{i+1}\right)\right)$$
然后利用区域归一化算法（略）来均衡掩膜内外的特征：
$${\bar{\varphi }}_{d_{i+1}}=RN\left({\tilde{\varphi }}_{d_{i+1}},m_{i+1}\right)$$
${\bar{\varphi }}_{d_{i+1}}$经过一次卷积层生成refined feature${\varphi }_{d_{i+1}}$，每一个refinement block的输入${\hat{M}}_{bin}$大小都不一样。

• 引入PatchGAN，图中未展示判别器部分。
• 损失函数：

$$\begin{array}{rl}{\mathcal{L}}_{\text{inpaiting }}=& {\lambda }_{\text{recons }}{\mathcal{L}}_{\text{recons }}+{\lambda }_{adv}{\mathcal{L}}_{ad{v}_G}+\\ & {\lambda }_{\text{perc }}{\mathcal{L}}_{\text{perc }}+{\lambda }_{\text{style }}{\mathcal{L}}_{\text{style }}+{\lambda }_{tv}{\mathcal{L}}_{tv}\end{array}$$

训练过程

• 首先，训练掩模检测模块。
• 然后，以端到端的方式联合训练掩模检测模块和修复模块。

和VCNet对比：

References

1. 在线LaTeX公式编辑器-编辑器 (latexlive.com)
2. 论文解释：Vision Transformers和CNN看到的特征是相同的吗？