Deep Multi-Model Fusion for Single-Image Dehazing（基于深度多模型融合的单图像去雾ICCV2019）-CFANZ编程社区

摘要：提出了一种深度多模型融合网络，将多模型融合到分层中，提高了单图像去雾的性能。为此，我们首先构建了注意特征集成模块，最大限度地整合卷积神经网络(CNN)不同层次的特征，生成注意多层次集成特征(AMLIF)。然后，从AMLIF，我们进一步预测一个大气散射模型和四个霾层分离模型的无霾结果，然后将结果融合在一起，生成最终的无霾图像。为了评估我们的方法的有效性，我们在两组广泛使用的去雾基准数据集和两组现实世界的雾霾图像上比较了我们的网络和几种最先进的方法。实验结果表明，我们的方法在数量和质量方面明显优于先进水平。

1.主要贡献

首先，通过融合大气散射模型和雾霾层分离模型，构建端到端的深度神经网络，以提高去雾性能。其次，我们开发了基于注意力机制的模块来整合CNN不同卷积层的特征，然后从整合的特征中预测去雾结果，基于大气散射模型和几种特定的层分离公式，充分利用了不同雾霾模型之间的互补信息。第三，我们在两个广泛使用的去雾基准数据集和各种真实世界的雾霾图像上，通过与最先进的去雾方法进行比较，来评估所提出的方法。实验结果表明，该网络在所有基准图像和真实的雾霾图像上都优于其他去雾方法。总的来说，本工作中的方法在单图像去雾方面取得了最新的性能。

2.去雾网络

图2显示了我们的网络(标记为DM2F-Net)的架构，它融合了大气散射和层分离模型来进行去雾。给出一幅输入的模糊图像，开发了注意特征集成模块(AFIMs)，通过学习注意图，利用不同CNN特征之间的互补信息，生成特征图(记为AMLIF)。然后，通过联合学习对AMLIF中基于AS模型的结果(记为J0)进行预测。此外，我们从另外四个AMLIF计算了四层分离公式的四个去雾结果(记为J1、J2、J3和J4)。最后，我们学习注意力地图来加权所有这些去阴霾的结果，以生成最终的结果。

图2:开发的DM2F-Net的概述:(1)首先从不同的CNN层生成多层特征(MLF);(2)我们开发了一个注意特征集成模块(AFIM)(见图3)来细化MLF，然后通过开发一个基于散射模型的模块来预测细化后的特征的去雾结果(见图5);(3)构建四种具体的雾霾层分解(见图4)，预测其去雾结果(记为J1、J2、J3、J4);(4)我们通过学习加权映射(W0, W1, W2, W3, W4)来融合这些去雾结果生成我们最终的结果。这5个AFIM中的卷积参数不是共享的。

2.1注意力特征模块

卷积神经网络(CNN)中的浅层特征负责发现输入朦胧图像的精细细节信息，而缺乏语义信息。因此，从这些特征去雾预测可以捕获大部分的背景细节，但许多非霾的细节也被霾破坏了。另一方面，深度CNN层的特征负责捕捉语义信息，去除输入图像中的大部分霾，但由于它们的接受域比浅层更大，因此在某种程度上缺乏非霾背景细节。因此，我们设计了一个注意特征集成模块(AFIM)，通过自动学习注意地图来加权不同CNN层连接的特征，利用不同CNN层之间的互补性进行干净图像预测;AFIM架构见图3。这样做,连接特性从不同的CNN(表示MLF)作为输入层,AFIM首先利用三个卷积层和softmax函数产生关注权重Ωx(参见图3):Ωx = softmax(σ(Θ∗MLF + b)),Θ和b是三个卷积的重量和偏重在MLF层;三种卷积核大小分别为3 × 3,3 × 3和1 × 1;σ为ReLU激活函数。然后，将注意力图Ωx逐层乘到串接特征(MLF)上，再跨通道方向将这些串接特征相加。然后，我们使用一个剩余的块来产生我们的AFIM的输出注意级联多级特征(AMLIF)。在残差块中，我们使用两个3 × 3和一个1 × 1卷积层生成残差分量。

图3：图2的注意特征集成模块(AFIM)示意图

2.2去雾预测

2.2.1预测大气散射模型

为了预测大气散射(AS)模型的去雾结果，开发了一个AFIM生成AMLIF，然后通过将AS模型嵌入到网络中，联合估计传输图、大气光和AMLIF的去雾结果。图5显示了详细的体系结构。具体来说，我们在AMLIF上采用了两个3 × 3卷积层和一个sigmoid函数来计算传输映射。然后，我们在AMLIF上使用一个平均汇聚，然后使用两个完全连接的层和一个sigmoid函数来估计大气光。然后，通过将as模型在式(1)中重新表述，计算去雾结果(记为J0)为:

其中p表示像素位置;I为输入朦胧图像;A0是计算的大气光;T0为估计的传输图。

图5:如何使用as模型产生去雾结果(记为J0)的示意图

2.2.2分层模型预测

除大气散射模型外，我们将层分离模型的去雾结果整合在一起来提高去雾性能，因为这些模型可以学习到散射模型的互补去雾信息。需要注意的是，图像的雾霾处理过程相当复杂，精确的层分解在单个图像去雾霾任务中是非常重要的。为此，我们实证探索了4个具体的层公式(对层组成进行常见的数学运算)作为分解基，并利用注意机制将这4个基分别线性组合得到去雾结果;图4显示了如何使用四层分解基础预测去雾结果(记为J1、J2、J3和J4)。对于特定的层分解，我们利用所开发的AFIM生成AMLIF，然后利用分解公式得到AMLIF的去雾结果。具体而言，我们首先考虑hazing层分解模型的层乘法机制:J1(p) = I(p) × R1(p) (5)；其中p为像素位置;I是模糊输入;图4 (a)显示了以AMLIF和I为输入，基于预测去雾结果(标记为J1)的体系结构。具体来说，我们在AMLIF上应用两个3 × 3卷积层来预测R1，然后利用公式(5)计算去雾结果J1，计算估计的R1和输入I。

图4:使用四层分解公式生成去雾结果(记为J1、J2、J3和J4)的示意图(见图4 (a)-(d))。注意，R1、R2、R3和R4的通道是3

其次，我们将去雾层分离建模为带加法运算的经典线性组合:J2 (p) = (p) + R2 (p), (6) ；J2和R2表示两层执行层分解后与公式（6）的线性组合配方,我们估计dehazed结果(表示J2)首先利用两个3×3卷积计算 AMLIF层,然后将R2添加到输入,如图4 (b)所示。

第三个公式是探索将模糊输入I分离为J3和R3的幂运算:

我们在AMLIF上使用两个3 × 3卷积层来预测R3，然后根据公式(7)计算出J3。

图像去雾的最后一层分离是:

其中，J4和R4是公式(8)的两个分解层，我们在AMLIF上使用两个3 × 3卷积层来估计R4，然后用公式(8)来计算J4;见图4 (d)。

2.2.3合并得到最终结果

在获得不同的模糊模型的结果后，我们利用注意机制将这些预测整合为我们网络的最终结果。为此，我们通过执行一个1× 1卷积层、两个3× 3卷积层、一个1× 1卷积层和一个softmax层，从多层集成特征(AMIF)中学习不同预测的5个注意图;参见图2。然后,计算最终结果Jf= W0×J0+ W1×J1+W2×J2 + W3×J3 + W4×J4+ W5×J5 (9), W0 W1, W2, W3和W4学习注意力地图j₀去雾结果,分别为J1、J2, J3和J4。

2.3模型分析

不同模型的结果可视化。图6 (b)-(f)展示了大气散射(AS)模式(J0)和四层分离模式(J1 ~ J4)的去雾结果。可以看出，As模型(J0)比其他层分离模型(J1 ~ J4)能更好地恢复输入的雾天图像，其PSNR/SSIM值较高也验证了这一点。更重要的是，在去霾过程中，AS模型会对非霾背景细节部分进行过度平滑处理，这些细节分别保留在层分离模型去雾结果中，这说明我们的层分离模型可以学习AS模型的互补去雾信息。注意力地图可视化。图6 (h)-(i)显示了五个去雾模型学习到的注意力权重(W0、W1、W2、W3和W4)。显然，对于每个去雾模型，学习到的注意图对其模糊区域的权重较小，并且会自动高亮这些区域，该图像去雾模型能够较好地恢复这些区域。此外,因为有五项去雾结果之间的互补信息模式,注意地图(W0, W1 W2, W3和W4)可以自动选择一个最好的在所有的五个dehazed结果预测最终结果的方法通过强调输入图像的不同区域,如W0所示,W1, W2,W3和W4。因此，在我们的方法中，利用这些学习到的注意图来整合这五种去雾模型，我们的方法可以获得更好的图像去雾性能，如图6 (g)所示(相比于图6 (m)中无雾)。为什么只有四个模型。我们的层分离模型的主要目标是将输入的雾霾图像分离成两层(见公式2):一层是无雾背景细节，另一层只包含雾霾信息。我们的四层分离模型(见图2)包含了两层组合的常见数学运算，它们在J1中是“+(-)”，在J2中是“×(÷)”，在J3中是求幂，在J4中是对数。此外，为了更好地逼近雾霾存在时的数学公式，我们利用注意力机制生成加权图，将这四个模型在最终的无雾预测中线性组合，并在最小化我们的网络的训练损失时对这些权重进行优化。它是从训练集的许多模糊和无雾图像对中计算出来的。我们在真实世界和合成基准上的卓越性能已经证明了我们的图像去雾的四层分离模型的有效性。