一、说明

        本篇是 变压器因其计算效率和可扩展性而成为NLP的首选模型。在计算机视觉中，卷积神经网络（CNN）架构仍然占主导地位，但一些研究人员已经尝试将CNN与自我注意相结合。作者尝试将标准变压器直接应用于图像，发现在中型数据集上训练时，与类似ResNet的架构相比，这些模型的准确性适中。然而，当在更大的数据集上进行训练时，视觉转换器（ViT）取得了出色的结果，并在多个图像识别基准上接近或超过了最先进的技术。本文记录这种结论，等有时机去验证。

二、CNN卷积网络transformer起源