文章目录
- 1 摘要
- 2.论文的贡献
- 3 方法
- 3.1 编码器Transformer
- 3.2 TransUNet
- 4 结论
1 摘要
医学图像分割是发展医疗保健系统，特别是疾病诊断和治疗规划的必要前提。 在各种医学图像分割任务中，U形体系结构，也称为U-Net，已成为事实标准，并取得了巨大的成功。 然而，由于卷积操作的内在局部性，U-Net通常证明了显式建模远程依赖的局限性。 变形金刚，设计用于序列到序列预测，已成为具有先天全局自我关注机制的替代架构，但由于低级别细节不足，可能导致有限的定位能力。
在本文中，我们提出了TransUNET，它既值得transformers和U-Net，作为一个强大的替代医学图像分割。 一方面，Transformer将卷积神经网络(CNN)特征映射中的标记图像块编码为提取全局上下文的输入序列。 另一方面，解码器对编码的特征进行采样，然后将其与高分辨率CNN特征映射相结合，以实现精确的定位。
我们认为，Transformer可以作为医学图像分割任务的强大编码器，结合u网，通过恢复局部空间信息来增强更精细的细节。跨神经网在多器官分割和心脏分割等不同医学应用上与不同竞争方法相比取得了优越的性能。
2.论文的贡献
我们提出了TransUNet，第一个医学图像分割框架，它从序列到序列预测的角度建立了自我关注机制。 为了补偿Transformer带来的特征分辨率损失，TransUnet采用了一种混合的CNN-Transformer体系结构，利用CNN特征的详细高分辨率空间信息和Transformer编码的全局上下文。 在u形结构设计的启发下，Transformer编码的自保持特征被上采样，与从编码路径跳过的不同高分辨率CNN特征相结合，以实现精确的定位。我们表明，这样的设计允许我们的框架保留Transformer的优势，也有利于医学图像分割。 经验结果表明，与以往基于CNN的自我关注方法相比，我们基于Transformer的体系结构提供了一种更好的利用自我关注的方法。 此外，我们还观察到，更密集地结合低级特征通常会导致更好的分割精度。大量的实验表明，我们的方法在各种医学图像分割任务上优于其他相互竞争的方法。
3 方法
3.1 编码器Transformer
影像序列化。我们首先通过将输入x重塑成一个扁平的2D补丁序列来执行标记化。
**补丁嵌入。**我们使用可训练的线性投影将矢量化斑块XP映射到一个潜在的D维嵌入空间。 为了对补丁空间信息进行编码，我们学习了添加到补丁嵌入中的特定位置嵌入，以保留位置信息如下：
3.2 TransUNet
CNN-Transformer混合体作为编码器。而不是使用纯Transformer作为编码器，TransUNet采用CNN-Transformer混合模型，其中CNN首先用作特征提取器，为输入生成特征映射。切片嵌入应用于从CNN特征映射中提取的1×1个补丁，而不是从原始图像中提取。我们选择这种设计，因为1)它允许我们利用解码路径中的中间高分辨率CNN特征映射；2)我们发现混合CNN-Transformer编码器的性能优于简单地使用纯变压器作为编码器。
级联的Upsampler。我们介绍了一种级联上采样器(Cascaded Upsampler，CUP)，它由多个上采样步骤组成，用于解码输出最终分割掩码的隐藏特征。
4 结论
Transformer被称为具有很强的固有的自我注意机制的架构。在本文中，我们首次研究了Transformer在一般医学图像分割中的使用情况。为了充分利用Transformer的力量，提出了跨单元，不仅通过将图像特征视为序列来编码强大的全局上下文，而且通过u形混合架构设计很好地利用了低级CNN功能。作为主要的基于FCN的医学图像分割方法的替代框架，跨单元网取得了比各种竞争方法优越的性能，包括基于CNN的自我关注方法。
