计算机视觉中Transformer的应用，论文精选

Transformer论文精选

• ​​简介​​
• ​​2D视觉​​

• ​​目标检测​​
• ​​图像分类​​
• ​​目标追踪​​
• ​​语义分割​​
• ​​图像合成​​
• ​​动作识别​​

• ​​3D视觉​​

• ​​点云处理​​
• ​​运动建模​​
• ​​人体建模​​

简介

个人建议，在不断学习深度学习知识的时候，通常现有的教材教程出现的算法都是几年前研究的了，我们也应该不断去学习新的算法，准确率效果更好的，学习新的关键技术，通常最直接的方法就是看论文，找到想看的英文论文，如果看英语太麻烦了，最简单办法就是复制英文论文标题，去网站搜索标题就行，有专门的博主对论文已经做好翻译的文章。

在过去的一年里，《注意力就是你所需要的》中的Transformer被很多人所关注。除了在翻译质量上产生重大改进外，它还为许多其他NLP任务提供了一个新的架构。这篇论文本身写得非常清楚，但传统的观点是，它的正确实现相当困难。

《注意力就是你所需要的》文章链接：
​​​Attention Is All You Need​​

在计算机视觉领域，CNN自2012年以来已经成为视觉任务的主导模型。随着出现了越来越高效的结构。最早在在一系列序列建模任务中，Transformer展现出可以替代RNN的强大能力。Transformer弥补了RNN最明显的缺点：RNN内部按照时间步进行计算的方式使得它们没有办法实现并行计算。Transformer亦通过自注意力机制应对梯度消失问题。

于是逐渐的Transformer结构也应用到了视觉项目中，

为什么使用transformer结构：

1. Transformer被证明是一个简单和可扩展的框架，用于计算机视觉任务，如图像识别、分类和分割，或仅仅学习全局图像表示。
2. 与传统方法相比，在训练效率上具有显著优势。在架构上，可以采用纯Transformer的方式使用，也可以与cnn结合使用混合的方式使用。
3. 它也面临着挑战，比如在DETR中检测小目标的性能较低，在Vision Transformer (ViT)中，当预训练数据集较小时，性能也不是很好。
4. Transformer正在成为学习序列数据(包括文本、图像和时间序列数据)的更通用的框架。

下面是针对不同视觉任务下精选的论文

2D视觉

目标检测

• ​​Toward Transformer-Based ObjectDetection​​
• ​​Rethinking Transformer-based Set Prediction for Object Detection​​
• ​​UP-DETR: Unsupervised Pre-training for Object Detection with Transformers​​

图像分类

• ​​AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE​​

目标追踪

• ​​TransTrack: Multiple Object Tracking with Transformer​​

语义分割

• ​​End-to-End Video Instance Segmentation with Transformers​​
• ​​Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers​​

图像合成

• ​​Taming Transformers for High-Resolution Image Synthesis​​

动作识别

• ​​Video Action Transformer Network​​

3D视觉

点云处理

• ​​PCT: Point Cloud Transformer​​
• ​​Point Transformer​​

运动建模

• ​​Learning to Generate Diverse Dance Motions with Transformer​​
• ​​A Spatio-temporal Transformer for 3D Human Motion Prediction​​

人体建模

• ​​End-to-End Human Pose and Mesh Reconstruction with Transformers​​