2.Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing论文阅读

Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing

Abstract

该文章提出了端到端的网络称为Cycle Dehaze，用于解决单幅图像去雾问题。

 优点：

• 1.不需要对模糊图像和相应的真实自然图像来训练网络。
• 2.同时不依赖大气散射模型参数的估计。

 结合$周期一致性和感知损失$来增强$CycleGAN公式$，提高纹理信息恢复的质量，并生成视觉上更好的无雾图像。先用去雾的深度学习模型用于低分辨率图像作为输入，产生低分辨率的输出。然后采用$双三次降尺度$。在从网络获得低分辨率输出后，并利用$拉普拉斯金字塔$将输出图像放大到原始分辨率。

Conclusion

基本和Abstract一样

Figure and Table

Introduce

与经典的dehaze论文差不多，开局一个恶劣天气，介绍全靠计算机视觉应用的影响。例如目标检测、跟踪和分割。
单图像去雾方法分为基于先验信息的方法[3,5,12,16,20,32]和基于学习的方法[10,24,30,34,35]。基于先验信息的方法主要是基于大气散射模型的参数估计，利用先验信息，如暗通道先验[16]、颜色衰减先验[38]、雾线先验[8,9]。另一方面，这些参数是通过基于学习的方法从训练数据中获得的，这些方法主要依赖于深度学习方法。深度神经网络的扩散增加了大规模数据集的使用，因此，研究人员倾向于创建合成的去雾数据集，如FRIDA[33]和D-HAZY[2]，其创建过程比真实的去雾数据集更实际。尽管大多数深度学习方法都使用中间参数的估计，例如透射图和大气光[10,24]，但也有其他基于生成性对抗网络（GAN）的方法，它们在不受益于这些中间参数的情况下构建模型[30]。

Related work

 图像去雾方法的目的是从输入的模糊图像中恢复清晰的场景反射、大气光颜色和透射图。需要知道场景的几个参数，这使得这个问题具有挑战性。图像去雾方法可以根据其输入进行分类：

• （i）多图像去雾
• （ii）基于偏振滤波器的去雾
• （iii）通过利用附加信息（例如深度或几何信息方法）的单图像去雾
• （iv）单图像去雾。

 然后就是去雾领域内的大神之作的介绍，DCP yyds了。前人的研究讲一下，然后又是算是Deep Learning的去雾的大神之作DehazeNet介绍了。接着是说了同样是使用GANs进行实现的方法，但是他们的方法需要在训练阶段估计大气散射模型的参数。

Proposed Method

  Cycle-Dehaze是CycleGAN体系的一个增强版本，用于单图像去雾。为了增加视觉质量指标、PSNR、SSIM，利用了EnhanceNet中的$感知损失$。
感知损失：这种损失的主要思想是在特征空间而不是像素空间中比较图像。
  Cycle Dehaze架构的表示。然后CycleGAN体系中引入了循环一致性损失。计算未配对图像到图像的转换任务的原始图像和循环图像的L1范数。但是原始图像和循环图像之间的计算损失不足以恢复所有的纹理信息。因为有雾图像大多是严重受损。循环感知损失的目的是通过观察从VGG16体系中的第二层和第五层池化层中提取的f高低层特征的组合来保持原始图像结构。$\varphi$就是抽取出来的特征

Experiments and Results

  首先是数据集从纽约大学和Middlebury中选择纽约大学深度数据集。但是并没有完全使用每个场景的图像。
  作者的训练过程。数据扩充采用了数据增强技术，采用随机作物作为训练阶段前的预处理步骤，进行数据增强。这一过程使模型在不同的尺度和纹理上具有鲁棒性。
算法如下：

1. 该算法先设定一个加强图像的数量，然后设置一个关于图像的空数组，数组大小为设定的数量
2. 接着开始循环，x,y,w,h分别是一张图像的随机x,y的像素和选择一个随机的高宽，对每一张图片进行裁剪和修复到该图像为$[256,256]$，并写入Image的Crop数组
3. 重复操作，直到达到指定的数量。

操作之后为数据集中的每个图像运行增强函数。 在这里也使用拉普拉斯金字塔进行采样和恢复分辨率。

我再去看看源码，可能目前还不是特别了解，这一篇工作做的不是特别好。。
建议：该论文看完后继续看CycleGAN和EnhanceNet两篇了解————周期一致性和感知损失