文章目录

• Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement（微光图像增强的零参考深曲线估计 ）
• Background
• Abstract
• Contribution
• Light-Enhancement Curve（LE-curve）
• Higher-Order Curve 高阶光照增强曲线
• Pixel-Wise Curve 像素级图像曲线
• DCE-Net
• Non-Reference Loss Functions 非引用损失函数
• • Spatial Consistency Loss 空间一致性损失：
  • Exposure Control Loss 曝光控制损失：
  • Color Constancy Loss 颜色恒常量性损失
  • Illumination Smoothness Loss 照明平滑损失
  • Total Loss 总损失
• Conclusion

Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement（微光图像增强的零参考深曲线估计 ）

Github_code:https://github.com/Developer-Zer0/ZeroDCE

Background

由于环境和技术原因，许多照片在低光度条件下拍摄，

环境情况：光照条件不充分、背光位置、曝光不足。

结果：美感受损，信息传递不良

Abstract

零参考深度曲线估计(Zero-DCE)：将光增强作为一种基于深度网络的图像特定曲线估计任务。（以往增强过程是 图像到图像的映射，这里采用的是对图像特定曲线估计问题，即以低光照图像作为输入，以高阶曲线为输出，利用高阶曲线对输入的动态范围内进行像素调整，以获得增强图像）

训练一个轻量级深度网络DCE-Net，由于估计像素和高阶曲线的动态范围调整给定的图像。

Zero-DCE采用非参考损失函数（空间一致性损失、曝光控制损失、颜色恒定损失、光照平滑损失），因此不需要参考图像的任何成对或不成对数据，其可以隐形测量增强质量并驱动网络学习。

Zero DCE核心：LE曲线、DCE-Net和非参考损失函数

Contribution

1、采用非参考网络，不依赖成对和非成对训练数据的低光照增强网络，避免有参考网络的过拟合问题，提高模型的泛化能力。

2、设计一种特定于图像的曲线，能够通过不断迭代估计像素和高阶曲线，实现像素增强，这种曲线可以在较宽的动态范围内有效地进行映射。

3、在缺乏参考图像情况下，通过任务特定的非参考损失函数来间接评估质量。

优点：提高高级视觉任务，且无高计算负担。

Light-Enhancement Curve（LE-curve）

光照增强曲线设计的三个目标：

1、增强图像的每个像素值应该保持在[0,1]的归一范围内，防止溢出截断引起的信息丢失。

2、曲线应该单调，保持相邻像素之间的对比度/差异（它是如何保持相邻像素对比度）

3、曲线应该简单可微，适用于梯度反向传播（何为梯度反向传播？）

符合三目标的LE曲线：LE(I(x); α) = I(x) + αI(x)(1 − I(x))

x为像素坐标，所有操作都是像素级的；I(x)：输入图像；LE(I(x); α) 是输入图像的增强版；

α ∈ [−1, 1] 是可训练曲线参数，用于调节LE曲线的大小，控制曝光水平；

LE曲线采用RGB三通道，可以更好地保持图像固有颜色，降低过饱和的风险。增加或减少输入图像的动态范围，有利于增强弱光区域，有助于消除过度曝光的伪影。

1、对极度微光条件，调整能力弱。2、在进行微光增强的同时，会减弱强光部分，造成变化后的图像颜色失真。

Higher-Order Curve 高阶光照增强曲线

将LE(I(x); α) = I(x) + αI(x)(1 − I(x))定义的LE曲线进行迭代，用于实现更多调节。

LE_n(x) = LE_n−1(x) +α_nLE_n−1(x)(1 − LE_n−1(x))

n是控制曲率的迭代次数，本实验n设为8

优点：比LE(I(x); α) = I(x) + αI(x)(1 − I(x))具有更强的调节能力。

缺点：α对图像进行全局调整，全局调整可能过度增强或者不足增强局部区域。

Pixel-Wise Curve 像素级图像曲线

解决高阶光照曲线LE_n(x) = LE_n−1(x) +α_nLE_n−1(x)(1 − LE_n−1(x))的缺点，将α表示为一个像素级参数（输入图像的每个像素都有一条与最佳拟合α相对应的曲线来调节其动态范围）

LE_n(x) = LE_n-1(x) + A_n(x)LE_n-1(x)(1 − LE_n-1(x))

A为输入图片相同大小的参数映射，A(x)与输入图片尺寸一致。

一个局域像素具有相同强度，且调整曲线相同，因此输出结果中相邻像素保持单调关系。

不同通道的最佳拟合参数映射具有相似的调整趋势，但值不同。

曲线参数图能准确显示不同区域的亮度，拟合后图像可通过逐像素曲线映射直接得到增强版图像。

增强图e中保留亮区内容，显示暗区内容。

DCE-Net

DCE-Net：输入为低光照图片，输出为一组相应高阶曲线的逐像素曲线参数映射。DCE-Net可以估计输入图像的一组最佳拟合光增强曲线（LE曲线）。框架通过迭代应用曲线来映射输入的RGB通道的所有像素，获得最终增强图像。

DCE-Net包含7个具有对称跳跃连接的卷积层。在前6个卷积层中，每个卷积层由32个大小为3×3、步长为1的卷积核组成，并各有一个ReLU激活函数。不使用下采样和批处理归一化层，因为会破坏相邻像素之间的关系。最后一个卷积层由24个大小为3×3、步长为1的卷积核组成，外加一个Tanh激活函数。（Tanh激活函数：8次迭代产生24个曲线参数映射，其中每次迭代需要3个通道（RGB通道）的曲线参数映射）

具有24通道的特征图像，将24通道按RGB分别分为8份，作为A₁、A₂ ···· A₈。

根据 LE_n(x) = LE_n-1(x) + A_n(x)LE_n-1(x)(1 − LE_n-1(x))对输入图像，迭代8次运算得到增强图像。

优点：轻量级网络架构

Non-Reference Loss Functions 非引用损失函数

四种类型的损失用于训练DCE-Net

1. Spatial Consistency Loss 空间一致性损失：

   通过保留输入图像与其增强版相邻区域的差异鼓励增加图像的空间一致性

   $$L_{spa}=\frac{1}{K}\sum _{i=1}^K\sum _{j\in \Omega (i)}(|(Y_i-Y_j)|-|(I_i-I_j)|{)}^2$$

   K：局部区域的个数；Ω ( i ) ：以区域i为中心的4相邻；
   Y：增强图像局部区域的平均强度值；i ：输入图像局部区域的平均强度值

2. Exposure Control Loss 曝光控制损失：

   抑制低/过曝光区域。曝光控制损失衡量的是局部区域的平均强度值与良好曝光度E之间的距离。

   $$L_{exp}=\frac{1}{M}\sum _{k=1}^M|Y_k-E|$$

   E为RGB颜色空间中的灰度（本实验设置为0.6）；M为16×16的不重叠局部区域个数；Y为增强图像中局部区域的平均强度值。

3. Color Constancy Loss 颜色恒常量性损失

   图片中每个传感器通道颜色平均为灰色，颜色恒常量性损失校正增强图片的颜色偏差，并建立三个调整后通道之间的关系。

   $$L_{col}=\sum _{\forall (p,q)\in \epsilon }(J^p-J^q{)}^2$$, ε = {(R, G),(R, B),(G, B)},

   $J^p$为增强后图像中p通道的平均强度值，(p,q)为一对通道。

4. Illumination Smoothness Loss 照明平滑损失

   保持相邻像素之间的单调关系，每个曲线参数映射A中增加一个光照平滑损失。

   $$L_{tvA}=\frac{1}{N}\sum _{n=1}^N\sum _{c\in \xi }(|{\nabla }_x{A}_n^c|+|{\nabla }_y{A}_n^c|{)}^2$$, ξ = {R, G, B},

   N为迭代次数，${\nabla }_x$和${\nabla }_y$表示水平和垂直梯度操作。

5. Total Loss 总损失

   $$L_{total}=L_{spa}+L_{exp}+W_{col}{L}_{col}+W_{tvA}{L}_{tvA}$$
   $W_{col}$和$W_{tvA}$是损失的权重。

Conclusion

DCE-Net可在没有参考图像情况下进行端到端训练，将低照度图像增强定义为图像特定曲线估计问题，并设计一组可微无参考损耗函数来实现的。

没考虑噪声影响，可以进入语义信息。