code:https://github.com/carlesventura/iterative-deep-learning
文章目录
- Abstract
- Methods
- 3.1 Patch-level learning for connectivity
- 3.2 Iterative delineation
- 3.3 Topology evaluation
- Experiments
Abstract
本文研究了从航空图像中估计道路网络拓扑结构的任务。在对图像像素进行密集语义分类的全局模型的基础上，我们设计了一个卷积神经网络(CNN)，它预测输入块的中心像素及其边界点之间的局部连通性。通过迭代这种局部连通性，我们扫描整个图像，并推断出道路网络的全局拓扑，灵感来自于人类用指尖描绘一个复杂的网络。我们对道路网络估计任务进行了广泛和全面的定性和定量评估，并表明我们的方法在进入视网膜血管网络时也能很好地推广。
Methods
本节介绍了我们的方法，它结合了曲线结构分割的全局尺度和局部尺度来估计其连通性。目前曲线结构分割的最佳方法应用最先进的深度学习技术来获得一个分割地图，其中每个像素被归类为属于结构（前景)(背景）。尽管这些方法在分割评估措施方面有良好的性能，但这些方法的主要缺点之一是它们没有考虑到任何结构信息。特别是，这些方法对位于其预测掩码中的点之间的连接信息是盲目的，因为所有的点都只被分配了一个二进制标签。
第3.1节提出了一种在局部尺度上学习元素连通性的方法。给定以曲线结构为中心的补丁图像，模型预测与中心结构连接的补丁边界的位置。图2-左显示了一些如何表示航空图像局部连接的例子：我们学会预测连接到中心像素（红点）的边界点（蓝点）。一旦学习了局部连接模型，它将迭代地应用于图像，将先前的预测与后续预测连接起来，并逐步提取图网络的拓扑结构，如第3.2节所述。我们在第3.3节中展示了我们的评估指标。
3.1 Patch-level learning for connectivity
如上所述，其目标是训练一个模型来估计补丁中的本地连通性。连通性的概念不是来自单点的属性，而是来自像素对的属性。然而，当前的架构被设计用来估计每像素的属性，而不是成对的信息。为了解决这个问题，本地网络被设计用来估计补丁中边界中的哪些点连接到给定的输入点。因此，给定一个补丁，我们需要对输入点和输出点的位置进行编码。
例如，在人体姿态估计[21]的背景下，点已经被编码为以高斯值为中心的热图。我们遵循同样的方法，因此我们的模型的输出是每像素成为一个连接点的概率。我们没有通过在标记其位置的热图上添加一个额外的输入通道来编码输入点，而是遵循一种更简单的方法。我们总是将输入点放在补丁的中心，从而避免了额外的输入通道，并进一步简化了模型。我们在实验中看到，该模型确实能够了解到中心点是我们感兴趣的输入位置。
更准确地说，我们采用堆叠沙漏网络[21]（也用于人体姿态估计）的架构来学习基于补丁的连接模型。该体系结构基于与中间监督一起使用的重复的自上而下的处理。每个自下而上、自上而下的处理块都被称为沙漏模块，它与处理具有多个尺度但分布更对称的空间信息的完全卷积网络有关。
该网络使用来自训练集中的一组k×-k像素块进行训练，其像素位于属于前景的块的中心，例如。标注为道路分割道路的像素。输出是一个热图，它预测每个位置连接到切片的中心点的概率。
最后，我们通过从之前引入的全局模型计算的语义分割计算最短路径，将边界位置连接到中心位置连接起来，如图2所示。请注意，该切片是足够局部的，因此全局模型上的最短路径是可靠的。
3.2 Iterative delineation
一旦学习了连接性的补丁级模型，该模型将通过图像迭代应用，以提取网络的拓扑，作为人类用手指描绘图像而不会失去轨迹。我们从全局模型给出的具有最高前景概率的点开始，作为迭代扫描方法的起点。然后，我们在这个点上中心一个补丁，并使用局部补丁模型找到连接到中心的补丁边界上的位置集，以及它们各自的置信值。
我们丢弃置信值低于一定阈值的位置，并将其余的位置添加到一袋要探索的点中。对于每个预测点，我们存储它的位置、置信值和它的先例预测点。预测点时在补丁中心的点）。将具有置信值最高的BE中的预测点p从BE中移除，并插入到已访问点BV的列表中。
然后，利用Dijkstra[4]算法将p与它在补丁上的分割概率映射上的先例预测点联系起来，以找到它们之间的最小路径。
然后，我们用一个以pc为中心的补丁迭代这个过程，超过置信阈值的新预测点被附加到BE中，它们将与BE中的前一个点竞争，成为下一个要探索的点。将迭代地应用此过程，直到BE为空。请注意，已访问点的列表BV用于丢弃已探索的任何点，从而避免反复重复访问相同的点。在以pc为中心的补丁中，如果一个预测点pp属于一个点pv∈BV的局部邻域，而pv是pc的先例点，那么预测点pp就被丢弃。否则，如果pv不是pc的先例点，而是pp属于pv的一个局部邻域，那么预测点pp被认为与pc有关，但pp不会被考虑进行扩展。
该算法已被推广到解决一个非连接区域的问题，例如。空中道路图像可能包含它们之间没有连接的道路，因此，可能有从一个起点无法到达的道路。为了防止网络拓扑的某些部分尚未被提取，一旦前一个BE为空，我们将为新的探索选择一个新的起点。我们对一个新起点的资格施加了两个限制：(i)它们必须在已经探索的区域的最小距离，(ii)它们在分割概率图上的置信值必须超过一个最小置信阈值。当没有剩余的点适合获得新的起始点时，迭代方法就结束了。
3.3 Topology evaluation
我们的算法的输出是一个定义输入网络拓扑结构的图，所以我们需要度量值来评估其正确性。为此，我们提出了两种不同的措施：一个经典的精确召回度量来评估网络的位置，另一个通过量化多少对点正确或错误连接来评估连接的度量。
为了计算两个图之间的经典的精确回忆曲线，我们建立了一个用一个像素宽的线横扫给定图的所有边缘的图像。然后，我们对这对图像应用了边界的原始精确召回率。精度P是指正确检测为边界的像素数（真阳性）与检测为边界的像素数（真阳性+假阳性）之间的比率。召回R是指正确检测到的像素数（真阳性）与地面真实值中标注为边界的像素数（真正+假负）的像素数之间的比率。我们将P和R之间的F度量作为一个权衡度量。
第二种测量方法是连通性C，灵感来自于[18]中的定义，即估计没有不连续的段的比率。我们将图中的一个段定义为曲线结构，它连接了地面真相注释中的两个连续结，以及连接了一个端点和它最近的连接结。如果在连接它们的线内没有其他连接点，则两个连接点被认为是连续的。给定两个连续连接点之间的地面真值路径，将检索从预测网络到每个连接点最近的点。然后，计算出通过连接一对检索点的预测网络的最短路径，称为Ppred。计算pgt长度与ppred长度之比。如果比率大于0.8，我们认为地面真实路径Pgt已经估计没有不连续。
我们还建议有一个结合精度P和连接性C的F测量，原因是一个高连通性C值本身并不意味着容器的正确性，因为它可能是所有像素连接到一切的结果。添加一个相互竞争的精确度量方法可以防止这种情况的发生。
在本文的其余部分中，FR表示用回忆和精度计算的F度，而FC表示在连通性和精度之间计算的F度。
Experiments
