图像拼接系列相关论文精读

Seam Carving for Content-Aware Image Resizing
As-Rigid-As-Possible Shape Manipulation
Adaptive As-Natural-As-Possible Image Stitching
Shape-Preserving Half-Projective Warps for Image Stitching
Seam-Driven Image Stitching
Parallax-tolerant Image Stitching
Parallax-Tolerant Image Stitching Based on Robust Elastic Warping
SuperPoint: Self-Supervised Interest Point Detection and Description
As-Projective-As-Possible Image Stitching with Moving DLT
Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching
Single-Perspective Warps in Natural Image Stitching
Local-Adaptive Image Alignment Based on Triangular Facet Approximation
Image stitching method by multi-feature constrained alignment and colour adjustment
Natural Image Stitching Using Depth Maps
Perception-based seam cutting for image stitching
Stable Linear Structures and Seam Measurements for Parallax Image Stitching

前言

论文：Quality evaluation-based iterative seam estimation for image stitching - 基于质量评估的迭代接缝估计图像拼接方法
论文链接：Quality evaluation-based iterative seam estimation for image stitching

摘要

接缝驱动的方法在图象拼接淋雨已经证明可以有效处理不完美的图像系列。通常，接缝驱动方法基于一个预定义的接缝质量度量从一个或有限个对齐假设中寻找最佳接缝。然而，在一些方法中，质量度量定义未计算接缝像素的平均性能。在许多例子中，有最小成本的接缝根据人类感知并不是最优的。在本文中，我们提出一个新颖的迭代接缝计算方法——迭代程序通过接缝限速的质量评估引导。首先，我们通过传统接缝方法计算接缝，并引入一个混合质量评估去计算接缝像素；之后计算的成本用于冲计算重叠区域的不同映射和重新计算接缝。这种评估重计算程序迭代知道当前接缝和先前接缝比较可以忽略不计。实验展示了和传统接缝方法和其他接缝驱动方法比较，我们的方法可以产生更少伪影结果并且重叠看起来更加真实。

1 Introduction

不完美的图像拼接系列是一个有挑战的问题在近些年获得很好的发展。通常，有两种方法解决。一种是提出对齐技术(图像扭曲)尽可能对齐准确。另一种是基于接缝驱动或者接缝引导的方法去利用接缝裁剪的方法找到重叠区域的最佳接缝通过基于预定义的接缝质量度量。第一种方法目标是产生几何对齐结果，可能会失败当输入图像有视差或者其他问题。因此，接缝驱动成为了重要方法产生可信的拼接结果，接缝质量度量决定最终结果。

接缝驱动策略首先[11]提出。它们指出最佳结果不必来自最好全局对齐。为了找到最佳结果，它们生成一个有限的对齐假设通过RANSAC并从这些对齐种应用接缝计算多个接缝。然后，定义一个质量度量为了评估这些接缝，最终结果来自于这些接缝的最小成本。这种方法也被许多其他接缝驱动方法采用。[28]通过结合单应和CPW改进策略，目的是局部对齐图像和生成更好的对齐假设。接缝成本用于评估接缝质量。[17]通过基于超像素的特征簇和一个接缝引导的结构保护扭曲生成对齐假设，扭曲通过适应特征权重迭代改变。它们基于ZNCC分数定义接缝质量尺度，也用于[16]。

用于接缝驱动方法的质量度量通常定义为了评估接缝的像素平均性能；然而，在许多例子种，有最小接缝成本的接缝在人类感知上并不一定是最优接缝。图1展示两个接缝质量比较的例子。在这里插入图片描述
图1a的接缝成本更小但并没有产生更好的拼接结果。值得注意的是接缝像素有一些不准的评估(图1颜色接缝)。事实上，很难定义单一的质量度量评估接缝，因为在接缝驱动策略，两个接缝同样令人信服根据人类感知尽管它们的成本不同。这使我们研究接缝计算方法可以找到给定一个对齐假设可以找到最优接缝。

在本文种，我们提出一个新的迭代接缝计算方法基于接缝像素质量评估。我么的方法基于观察最优接缝应该有近似小的成本并且接缝像素有小的差异。(图3d)。不同于定义质量度量去寻找最小接缝成本，我们给接缝像素一个混合质量评估去引导我么的迭代接缝计算程序。首先，给定对齐图像，我们通过传统接缝方法计算重叠区域的拼接缝。第二，我们引入一个混合质量评估计算接缝像素，计算的成本用于重新计算重叠区域的不同映射和重新计算拼接缝。这两步迭代到当前接缝的改变和之前接缝相比可以忽略不记。通过迭代后最终的接缝得到结果。实验展示和传统接缝方法和其他接缝驱动方法比较，我们的方法可以产生更少伪影的结果和重叠更真实可信。

主要贡献如下：

我们提出一个迭代接缝计算算法可以处理有挑战性的问题。
我么的算法可以揭示误对齐和拼接缝更好对齐的部分。除此之外，在未来工作种，他可能提供一个方法去计评估接缝性能。

2 Our approach

本节，我们首先给出简短描述关于传统接缝方法，然后提出我们的接缝计算策略，包括混合质量评估算法和迭代接缝计算优化。最后，我们总结我们的接缝计算框架。

下面，没用特殊说明，我们使用p表示重叠区域的像素，pi表示接缝像素，N代表获得接缝的结合区域(接缝)。

2.1 Conventional seam-cutting

一对拼接图，I0和I1代表参照图和目标图，P是重叠区域，L={0，1}是标签。接缝0代表I0的接缝，1代表I1.接缝目标是寻找标签l最小化下面的能量函数：
在这里插入图片描述

2.2 Iterative seam estimation

通过传统方法计算一个初始接缝后，我们定义接缝像素的质量评估，例如有潜在伪影的未对齐像素的大成本，当对齐像素有小成本时。大成本像素应该略过，因此我们重新关联在能量函数种一个大的惩罚在子接缝重计算种。

之前有许多质量评估方法，我们的算法目的是评估接缝每个像素的性能，而不是评估全局接缝或拼接结果。

2.2.1 Hybri quality evaluation

虽然错位伪影通常表示在重叠区域它们自己作为结构不一致，我们使用结构相似SSIM评估接缝的每个像素。对于接缝的每个像素pi，我们提出一个局部patch中心在pi并比较参照图和目标图的局部块。pi像素的局部块成本定义为：
在这里插入图片描述
SSIM索引时一个[-1,1]的值，如果两个块相同，则SSIM=1。因此，接缝未对齐像素有更大的块成本。

对于视差问题，简单的块成本不足以提供一个优秀的接缝像素评估。有时，它可能产生不好的结果。(图2a)。在这里插入图片描述
我们对像素添加点成本以此提升质量评估算法。pi像素的点成本定义为：

点成本衡量接缝像素两边的不同。因此，接缝所有像素成本都相对小是一个好接缝。这可以避免块成本中的失败情况(图2b)。

为了整合这些像素的互相关和变化，我们将成本作为标志，x轴是接缝像素的顺序(图2)。我们使用小波去噪工具平滑信号以减少错位的影响（人眼不可见）。可供选择的方法是通过高斯滤波平滑初始对齐图像，并且我们发现小波去噪更有效。

实际上，在图2中，块成本是一个好的连续性质，点成本是一个好的多样性性质。没用点成本，块成本中可能存在假阴性，同样没用块成本，点成本可以严重改变接缝相邻像素的互相关。因此，我们结合两个成本区评估接缝像素的性能。

通常，接缝未对齐像素同时有大的块成本和点成本。对于像素pi，我们定义混合成本：
在这里插入图片描述
图2展示质量评估算法的例子，成本是热图展示。可以看到质量评估可以解释未对齐和已对齐部分。

2.2.2 Seam estimation refinement

我们利用像素质量评估迭代优化我们的接缝计算。通常，接缝未对齐像素有一个大的混合成本，另一方面，一个相关大的混合成本通常意味着潜在未对齐像素。因此，接缝优化，我们通过修改不同映射增加潜在未对齐像素的平滑成本：
在这里插入图片描述
然后，重叠区域的不同映射变成了

接缝区域N簇，通过接缝每侧扩展5像素生成。对于像素p，Ep设置为接缝相邻像素的混合成本。不同映射在簇区域重新计算。

通过新的不同映射和冲计算接缝重新计算能量函数。评估重计算程序迭代直到当前接缝的改变相比之前的接缝可以忽略不计。这里，忽略不计意味着当前接缝的综合可以获得在簇区域。对于一个合理的初始接缝，程序通常在五次迭代终止。最后，我们获得一个迭代接缝，并且最终结果通过应用梯度域融合[20]产生。

图3展示了接缝计算优化的例子，并且每一轮迭代展示在热图中。
在这里插入图片描述
3a是初始接缝有伪影和结构不一致。我们的方法好。

2.2.3 Proposed seam estimation framework

算法框架展示在算法2.
在这里插入图片描述

3 Experiments

实验中，块大小设置为21×21，等式6的λ=10，等式7中的σ和 $\epsilon$ 设置为5和0.12。输入图像[17]提供。我么的迭代计算方法用于计算最终接缝，最终接缝生成通过梯度域融合生成。

3.1 Result comparisons

我们和传统方法以及接缝驱动方法比较。数据集用公共数据集。
图4展示例子。
在这里插入图片描述
图5展示另外的例子。

3.2 Limitations

在接缝方法中，图像必须粗对齐以至于重叠区域至少存在一个局部区域，可以有接缝被找到。在最糟糕的例子，如果输入图像有很大视差并有大量的显著结构，我们的接缝优化可能迭代知道簇区域变成重叠区域P。意味着不存在局部区域可以找到接缝，而且对于接缝和我们的方法这是一个失败的例子。图6a-c展示大视差的例子。
在这里插入图片描述
运动目标可能会产生复制。d-f。