Transformer模型的1000+篇文章总结

query

• PyTorch的Transformer http://www.ai2news.com/blog/42703/
• Transformer-XL：像RNN一样用Transformer http://www.ai2news.com/blog/19186/
• NeurIPS 2021 | MST: 用于Transformer视觉表征的Masked自监督解读 http://www.ai2news.com/blog/21497/
• 论文阅读笔记：Informer–效果远超Transformer的长序列预测模型 http://www.ai2news.com/blog/15530/
• Pytorch框架下的Transformer时间序列预测实例 http://www.ai2news.com/blog/43365/
• 40亿参数！清华提出CogView：通过Transformer掌握文本生成图像 http://www.ai2news.com/blog/18621/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十二) http://www.ai2news.com/blog/18437/
• 《UFO-ViT》-Transformer可以不需要Softmax？Kakao提出了UFO-ViT，性能高，计算量还小 http://www.ai2news.com/blog/16498/
• CvT: 如何将卷积的优势融入Transformer http://www.ai2news.com/blog/19002/
• HRFormer：多分辨率Transformer！参数骤降！但性能更强！中科院、北大、MSRA、百度联合出品！入选NeurIPS 2021 http://www.ai2news.com/blog/19199/
• AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器？？？ http://www.ai2news.com/blog/40175/
• Transformer Meets Tracker 阅读，理解 http://www.ai2news.com/blog/19265/
• NLP任务非Transformer不可？谷歌大规模研究发现预训练卷积模型往往更优 http://www.ai2news.com/blog/22415/
• Transformer从原理到实现 http://www.ai2news.com/blog/31794/
• 解决训练不稳定性，何恺明团队新作来了！自监督学习+Transformer=MoCoV3 http://www.ai2news.com/blog/19047/
• NeurIPS 2021 | 即插即用！使用小数据集高效训练视觉Transformer http://www.ai2news.com/blog/16876/
• Swin Transformer 论文详解及程序解读 http://www.ai2news.com/blog/31895/
• ICCV 2021 | PS-ViT：具有渐进采样的视觉Transformer http://www.ai2news.com/blog/17724/
• ViT：一图胜千言，用于大规模图像识别的Transformer http://www.ai2news.com/blog/33413/
• 如何利用PyTorch写一个Transformer实现英德互译 http://www.ai2news.com/blog/17116/
• “追星”Transformer（二）：基于Transformer的预训练模型GPT http://www.ai2news.com/blog/17597/
• 从Set Transformer到Perceiver (IO) http://www.ai2news.com/blog/19184/
• 将Transformer用在图片上：Vision Transformer论文杂谈 http://www.ai2news.com/blog/33405/
• 【Pytorch】Transformer中的mask http://www.ai2news.com/blog/33600/
• Transformer真的需要注意力吗？ http://www.ai2news.com/blog/53010/
• Facebook提出：基于视觉Transformer的图像检索 http://www.ai2news.com/blog/21268/
• ViT-ResNAS：搜索高效的多阶段视觉Transformer http://www.ai2news.com/blog/50606/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十) http://www.ai2news.com/blog/18436/
• TransMed：Transformer推动多模态医学图像分类 http://www.ai2news.com/blog/20791/
• NLP Transformer培训课程:BERT CommonLit Readability Prize比赛技术进阶详解 http://www.ai2news.com/blog/19596/
• ConTNet：在视觉任务中同时使用Transformer和Convolution http://www.ai2news.com/blog/19066/
• 拿下多项第一！大连理工和MSRA提出STARK：基于Transformer的目标跟踪网络 http://www.ai2news.com/blog/19746/
• TransClaw U-Net：用于医学图像分割的带有Transformer的Claw U-Net http://www.ai2news.com/blog/17913/
• Transformer是否真正理解了自然语言的语义信息，还是单纯的模式识别 http://www.ai2news.com/blog/44900/
• 新思路！ConViT：用“柔性”卷积归纳偏差改进视觉Transformer！ http://www.ai2news.com/blog/19053/
• 基于时空混合attention的视频Transformer，大幅度降低计算复杂度 http://www.ai2news.com/blog/16981/
• NLP培训课程第45章：构建open-domain chatbot的Transformer模型Blenderbot架构内幕及完整源码实现 http://www.ai2news.com/blog/19153/
• 今晚，TransGAN一作线上分享：丢弃卷积，纯Transformer构建GAN网络 http://www.ai2news.com/blog/23858/
• SeqFormer：简单且强大的Transformer视频实例分割模型 http://www.ai2news.com/blog/16185/
• 无所不能GTN-Graph Transformer Networks http://www.ai2news.com/blog/26079/
• 去掉softmax后Transformer会更好吗？复旦&华为诺亚提出SOFT：轻松搞定线性近似 http://www.ai2news.com/blog/18700/
• 新注意力！Facebook等提出XCiT：互协方差图像Transformer http://www.ai2news.com/blog/18115/
• SiT：自监督视觉Transformer http://www.ai2news.com/blog/19485/
• arXiv每日更新-2021.12.20（今日关键词：3d, recognition, segmentation, transformer） http://www.ai2news.com/blog/30690/
• 网络架构之争：三大主流架构对决，谁是王者？深入思考CNN、Transformer与MLP http://www.ai2news.com/blog/19098/
• Facebook新作ConvNeXt使CNN匹敌Swin Transformer http://www.ai2news.com/blog/51163/
• 让Transformer的推理速度提高4.5倍，这个小trick还能给你省十几万 http://www.ai2news.com/blog/15773/
• 快手&北邮提出CAT：视觉Transformer中的交叉注意力 http://www.ai2news.com/blog/18377/
• AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器！ http://www.ai2news.com/blog/31795/
• 只用两行代码，我让Transformer推理加速了10倍 http://www.ai2news.com/blog/17609/
• 自适应的Transformer条件位置编码方法 http://www.ai2news.com/blog/23406/
• 《SemVLP》单流和双流Transformer哪个好？阿里：我全都要！提出带可插拔模块的Transformer结构 http://www.ai2news.com/blog/15716/
• CoaT：Co-Scale 卷积-注意力图像Transformer http://www.ai2news.com/blog/19019/
• 准确率87.5%，微软、中科大提出十字形注意力的CSWin Transformer http://www.ai2news.com/blog/19652/
• BERT模型入门系列（四）:Transformer模型详解 http://www.ai2news.com/blog/31471/
• CV领域，Transformer在未来有可能替代CNN吗？ http://www.ai2news.com/blog/17773/
• 南大&港大提出PVTv2：金字塔视觉Transformer改进基线 http://www.ai2news.com/blog/18016/
• 论文笔记——Transformer Language Models with LSTM-based Cross-Utterance Information Representation http://www.ai2news.com/blog/52262/
• NLP培训课程第48章：基于Residual Attention机制的Transformer模型RealFormer架构内幕及完整源码实现 http://www.ai2news.com/blog/19155/
• Transformer 修炼之道（二）、Encoder http://www.ai2news.com/blog/26016/
• 南京大学提出ResT：用于视觉识别的高效Transformer http://www.ai2news.com/blog/18498/
• Vision Transformer 超详细解读 (原理分析+代码解读) (二) http://www.ai2news.com/blog/18504/
• ICCV 2021 | GLiT：一种更适合图像任务的transformer网络结构 http://www.ai2news.com/blog/44836/
• gat和transformer http://www.ai2news.com/blog/21715/
• CV圈对决：谷歌提出ViTGAN，用视觉Transformer训练GAN http://www.ai2news.com/blog/25960/
• 图解 Reformer：一种高效的 Transformer http://www.ai2news.com/blog/14995/
• Transformer 杀疯了，图像去雨、人脸幻构、风格迁移、语义分割等通通上分 http://www.ai2news.com/blog/20528/
• Transformer的改进，有两种方法 http://www.ai2news.com/blog/43714/
• arXiv每日更新-20220119（今日关键词：segmentation, detection, transformer) http://www.ai2news.com/blog/51388/
• Swin Transformer全方位解读【ICCV2021最佳论文】 http://www.ai2news.com/blog/49186/
• 视频版GPT！这个华人博士生发布基于Transformer的视频生成器，ICML2021已发表 http://www.ai2news.com/blog/42738/
• 一文读懂现在最新的BoTNet：超越经典，Transformer正在路上 http://www.ai2news.com/blog/19003/
• Bert系列一：词表示，从one-hot到transformer http://www.ai2news.com/blog/31535/
• A Survey on Visual Transformer及引文理解 http://www.ai2news.com/blog/16147/
• [深度学习概念]·深度学习Transformer模型介绍 http://www.ai2news.com/blog/14021/
• 你仅需要看一个序列！YOLOS：重新思考Transformer的泛化性能 http://www.ai2news.com/blog/20351/
• 脑洞大开！油画渲染的新算法 Paint Transformer！ICCV2021 Oral！ http://www.ai2news.com/blog/19428/
• [ICCV 2021] 松弛Transformer：实现直接出框的时序动作检测 http://www.ai2news.com/blog/15801/
• Transformer为什么这么强 http://www.ai2news.com/blog/31588/
• Uformer | Low-level领域第二发Transformer，占领图像降噪等高峰 http://www.ai2news.com/blog/18136/
• CNN、Transformer与MLP之争（1） http://www.ai2news.com/blog/19064/
• AAAI 2022 | 腾讯优图提出Evo-ViT：高性能Transformer加速方法 http://www.ai2news.com/blog/16222/
• ACT: 自适应聚类transformer端到端目标检测 http://www.ai2news.com/blog/43659/
• Transformer拿下CV顶会大奖，微软亚研获ICCV 2021最佳论文 http://www.ai2news.com/blog/21768/
• Transformer原论文阅读笔记 http://www.ai2news.com/blog/44915/
• Swin Transformer的继任者：Local Vision Transformer的革命 http://www.ai2news.com/blog/15831/
• 本周记录（Visual saliency transformer 和 Dynamic grained encoder for VIT） http://www.ai2news.com/blog/17244/
• NLP Transformer培训课程:DistilBERT：smaller, faster, cheaper and lighter的轻量级BERT架构剖析及完整源码实现 http://www.ai2news.com/blog/19595/
• VisTR震撼发布,基于transformer的实例分割,70fps,34.4mAP! http://www.ai2news.com/blog/42083/
• 《目标检测》-第29章-Detection with Transformer http://www.ai2news.com/blog/43688/
• Transformer再下一城！OW-DETR：开放世界检测Transformer http://www.ai2news.com/blog/16225/
• 最新最全的视觉 Transformer 综述请查收！ http://www.ai2news.com/blog/15825/
• CVPR 2021 | C-Tran：基于Transformer的通用多标签图像分类 http://www.ai2news.com/blog/17976/
• NeurIPS 2021 | ViTAE: vision transformer中的归纳偏置探索 http://www.ai2news.com/blog/44817/
• 谷歌新语言模型Switch Transformer http://www.ai2news.com/blog/18336/
• 让小目标无处遁形！北航提出 TPH-YOLOv5：Transformer与YOLO的碰撞 http://www.ai2news.com/blog/18944/
• 【attention系列】CV中的transformer（ECCV 2020） http://www.ai2news.com/blog/31311/
• LSTM + Transformer 架构模型 http://www.ai2news.com/blog/42809/
• 无卷积！TimeSformer：基于Transformer的视频理解网络 http://www.ai2news.com/blog/19078/
• LSTM之父重提30年前的「快速权重存储系统」：线性Transformer只是它的一种变体 http://www.ai2news.com/blog/23647/
• 读懂对话式AI系列之五——NVIDIA技术如何优化基于Transformer的模型？ http://www.ai2news.com/blog/15215/
• KDD 2021 | Transformer、知识图谱等热点话题，微软亚洲研究院论文精选，速看！ http://www.ai2news.com/blog/18682/
• ICLR 2022 迁移学习，视觉Transformer文章总结 http://www.ai2news.com/blog/52593/
• 网络结构之战：CNN、Transformer和MLP的实证研究 http://www.ai2news.com/blog/17352/
• VSR-Transformer | 超越BasicVSR，Transformer拿下视频超分 http://www.ai2news.com/blog/18135/
• Transformer作者创建，Hinton、李飞飞、Goodfellow等大佬投资，这家新公司要做什么？ http://www.ai2news.com/blog/23293/
• 复旦大学提出中文分词新方法，Transformer连有歧义的分词也能学 http://www.ai2news.com/blog/9932/
• NLP培训课程第36章：基于entity-aware self-attention的Transformer模型Luke架构内幕及完整源码实现 http://www.ai2news.com/blog/19322/
• 北大&阿里提出AFTrans：细粒度视觉识别的自适应注意力多尺度Transformer http://www.ai2news.com/blog/16769/
• 推荐一个可交互的 Attention 可视化工具！我的Transformer可解释性有救啦？ http://www.ai2news.com/blog/22092/
• ICCV2021几篇Transformer的OD论文解读 http://www.ai2news.com/blog/19347/
• 论文总结与分析：“An Image is Worth 16x16 Words: transformer for Image Recognition at Scale” http://www.ai2news.com/blog/17847/
• 复旦大学邱锡鹏教授团队：Transformer最新综述 http://www.ai2news.com/blog/17241/
• 微调Transformer模型识别发票 http://www.ai2news.com/blog/16060/
• 不使用标签数据! 自动搜索Transformer混合结构，同速度超过EfficientNet 2.1%！ http://www.ai2news.com/blog/42794/
• NLP Transformer培训课程: 贝叶斯理论下的Transformer揭秘 http://www.ai2news.com/blog/19637/
• 正面刚CNN，Transformer居然连犯错都像人类 http://www.ai2news.com/blog/21440/
• CVPR2021 | SETR: 使用 Transformer 从序列到序列的角度重新思考语义分割 http://www.ai2news.com/blog/6675/
• 以YOLO的名义来做Transformer http://www.ai2news.com/blog/19460/
• 北邮提出MISSFormer：一种高效的医学图像分割Transformer http://www.ai2news.com/blog/17036/
• 1.6万亿参数的语言模型：谷歌大脑提出Switch Transformer，预训练速度可达T5的7倍 http://www.ai2news.com/blog/24371/
• Transformer再下一城！StyTr^2：首个基于Transformer的图像风格迁移 http://www.ai2news.com/blog/18555/
• NeurIPS 2021 | SOFT：具有线性复杂度的Softmax-free Transformer http://www.ai2news.com/blog/16550/
• 吸取CNN优点！LeViT：用于快速推理的视觉Transformer http://www.ai2news.com/blog/19065/
• Transformer中的Positional Encoding http://www.ai2news.com/blog/13805/
• MoCo v3来了！何恺明等人新作：训练自监督视觉Transformer的实证研究 http://www.ai2news.com/blog/19610/
• Transformer 拿下 CV 顶会大奖，微软亚研获ICCV 2021最佳论文 http://www.ai2news.com/blog/17239/
• 卷爆了 | 看SPViT把Transformer结构剪成ResNet结构！！！ http://www.ai2news.com/blog/16214/
• [细读经典+代码解析]TransGAN: 纯基于Transformer的GAN http://www.ai2news.com/blog/21023/
• Transformer in Transformer：TNT在检测分割任务新进展及代码解读 http://www.ai2news.com/blog/16835/
• Transformer 预训练模型已经变革NLP领域，一文概览当前现状 http://www.ai2news.com/blog/16846/
• Transformer在图像复原领域的又一力作！ETH提出SwinIR：low-level视觉多项任务全面领先 http://www.ai2news.com/blog/17339/
• DeiT：使用Attention蒸馏Transformer http://www.ai2news.com/blog/17872/
• 全面超越Swin Transformer ！Facebook用ResNet思想升级多尺度视觉Transformer http://www.ai2news.com/blog/18238/
• NLP Transformer培训课程:NLP比赛的明星模型RoBERTa架构剖析及完整源码实现 http://www.ai2news.com/blog/19593/
• 性能没到SOTA！POET：基于Transformer的端到端可训练多人体姿态估计 http://www.ai2news.com/blog/19070/
• Vision Transformer发展现状 http://www.ai2news.com/blog/19160/
• SegFormer：使用Transformer进行语义分割的简单高效设计 http://www.ai2news.com/blog/18553/
• WACV 2022 | SiamTPN：用于实时无人机跟踪的孪生Transformer金字塔网络 http://www.ai2news.com/blog/16549/
• ICCV2021 | PnP-DETR：用Transformer进行高效的视觉分析 http://www.ai2news.com/blog/19017/
• ICCV oral：STTR｜transformer在双目深度估计的尝试 http://www.ai2news.com/blog/16499/
• 攻下SLAM！用于无监督视觉里程表的Transformer引导几何模型 http://www.ai2news.com/blog/48431/
• 新突破！Swin-UNet：基于纯 Transformer 结构的医学图像分割网络 http://www.ai2news.com/blog/19006/
• 基于ResNet和Transformer的场景文本识别 http://www.ai2news.com/blog/16980/
• 涨点神器！ELSA：增强视觉Transformer的局部自注意力 http://www.ai2news.com/blog/16071/
• Transformer及其应用综述（不一样的角度理解NLP、理解self-attention） http://www.ai2news.com/blog/31852/
• 【预训练Transformer如何fine-tine】Pretrained Transformers As Universal Computation Engines http://www.ai2news.com/blog/51170/
• All You Need is Transformer? http://www.ai2news.com/blog/19466/
• ACM MM 2021 Transformer再下一城! 首个基于Transformer的端到端视频语义分割网络 http://www.ai2news.com/blog/16407/
• ASTGNN：transformer攻入城市计算时空图网络 http://www.ai2news.com/blog/51337/
• Transformer模型解读（附pytorch代码） http://www.ai2news.com/blog/44346/
• 综合LSTM、transformer优势，DeepMind强化学习智能体提高数据效率 http://www.ai2news.com/blog/18380/
• Vision Transformer复现-工具篇 http://www.ai2news.com/blog/42721/
• Vision Transformer 超详细解读 (原理分析+代码解读) (六) http://www.ai2news.com/blog/18432/
• 源码解析目标检测的跨界之星DETR（四）、Detection with Transformer http://www.ai2news.com/blog/25946/
• 初识 CV Transformer 之Vision Transformer (ViT) http://www.ai2news.com/blog/13507/
• 简化Transformer模型训练技术简介 http://www.ai2news.com/blog/19018/
• CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows阅读笔记 http://www.ai2news.com/blog/31827/
• ICCV 2021 论文汇总！Vision Transformer http://www.ai2news.com/blog/16458/
• 魔改ResNet反超Transformer再掀架构之争！作者说“没一处是创新”，这些优化trick值得学 http://www.ai2news.com/blog/51177/
• 提供基于transformer的pipeline、准确率达SOTA，spaCy 3.0正式版发布 http://www.ai2news.com/blog/24206/
• ACL 2021：Glancing Transformer （浏览语言模型） http://www.ai2news.com/blog/43466/
• 一文带你掌（放）握（弃）ViT(Vision Transformer)（原理解读+实践代码） http://www.ai2news.com/blog/19014/
• Transformer学习(八)—BeiT和MAE http://www.ai2news.com/blog/28697/
• MICCAI 2021 | MCTrans：生物医学图像分割的多复合Transformer http://www.ai2news.com/blog/18018/
• 谷歌提出NesT：聚合嵌套Transformer http://www.ai2news.com/blog/18620/
• LVT：具有增强自注意力的Lite视觉Transformer http://www.ai2news.com/blog/19004/
• 小目标神器！TPH-YOLOv5：将Transformer预测加载Yolov5！ http://www.ai2news.com/blog/19292/
• 中国科学院、东南大学等联合发表最新的视觉 Transformer 综述 http://www.ai2news.com/blog/18430/
• 【ICLR2022】CrossFormer: A versatile vision transformer hinging on cross-scale attention http://www.ai2news.com/blog/53334/
• 谷歌联合UCLA 提出统一的 Transformer 模型：CV、NLP 任务都可以搞定！ http://www.ai2news.com/blog/51789/
• 如何微调Q&A Transformer http://www.ai2news.com/blog/18044/
• 【简读】Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems http://www.ai2news.com/blog/21081/
• 还在魔改Transformer结构吗？微软&中山大学开源超强的视觉位置编码，涨点显著 http://www.ai2news.com/blog/16517/
• 谷歌提出"离散表示"：增强视觉Transformer的鲁棒性 http://www.ai2news.com/blog/16218/
• Transformer学习笔记一：Positional Encoding（位置编码） http://www.ai2news.com/blog/42668/
• 深度详解RNN，LSTM，Seq2Seq，Attention机制和Transformer http://www.ai2news.com/blog/31399/
• 【哈希聚类】Vision Transformer Based Video Hashing Retrieval for Tracing the Source of Fake Videos http://www.ai2news.com/blog/52632/
• 【Mask Attention】Masked-attention Mask Transformer for Universal Image Segmentation http://www.ai2news.com/blog/33770/
• DeLighT ：深度和轻量化的Transformer http://www.ai2news.com/blog/17578/
• Transformer升级之路：1、Sinusoidal位置编码追根溯源 http://www.ai2news.com/blog/15665/
• 堪比当年的LSTM，Transformer引燃机器学习圈：它是万能的 http://www.ai2news.com/blog/42520/
• 论文 | Transformer Interpretability Beyond Attention Visualization http://www.ai2news.com/blog/49366/
• 用于发票识别的微调 Transformer 模型 http://www.ai2news.com/blog/16859/
• 紧凑型视觉Transformer来了！针对小型数据集设计，更小更简单！ http://www.ai2news.com/blog/19021/
• 无卷积！PoseFormer：第一个基于时空Transformer的3D人体姿态估计 http://www.ai2news.com/blog/19079/
• Eformer：使用Transformer进行医学图像去噪 http://www.ai2news.com/blog/43128/
• 为何 gMLP 是值得重视的工作（可能比 Transformer 有前途） http://www.ai2news.com/blog/39611/
• 鱼水读论文：在表格数据上Transformer吊打所有的模型？ #NIPS 2021# http://www.ai2news.com/blog/44816/
• NeurIPS-2021 | 图像未必值16x16词：可变序列长度的动态视觉Transformer来了 http://www.ai2news.com/blog/16363/
• 语义分割中的Transformer（第一篇）：SETR与TransUNet — 使用Transformer时解码器的设计 http://www.ai2news.com/blog/39610/
• NLP Transformer培训课程:细说Language Model内幕及Transformer XL源码实现 http://www.ai2news.com/blog/19636/
• 【Transformer 可视化】Transformer Interpretability Beyond Attention Visualization http://www.ai2news.com/blog/31909/
• NVIDIA Megatron：超大Transformer语言模型的分布式训练框架 http://www.ai2news.com/blog/21165/
• 李宏毅机器学习课程笔记-14.4 Seq2Seq：Transformer http://www.ai2news.com/blog/24127/
• 我们用transformer干啥？ http://www.ai2news.com/blog/18935/
• 高分论文！UniFormer：高效时-空表征学习的统一Transformer http://www.ai2news.com/blog/16372/
• [算法学习]Transformer tokenizers二元店(2) http://www.ai2news.com/blog/20928/
• NLP培训课程第43章：使用grouped convolutions进行加速的Transformer模型SqueezeBERT架构内幕及完整源码实现 http://www.ai2news.com/blog/19261/
• 霸榜各大CV任务榜单，Swin Transformer横空出世！ http://www.ai2news.com/blog/21094/
• 【CVPR 2021】PRTR：基于transformer的2D Human Pose Estimation http://www.ai2news.com/blog/42574/
• Transformer一作又出新作！HaloNet：用Self-Attention的方式进行卷积 http://www.ai2news.com/blog/18914/
• 86.2％准确率！LV-ViT：高效训练视觉Transformer http://www.ai2news.com/blog/18939/
• CogView：通过Transformer掌握文本到图像的生成 http://www.ai2news.com/blog/33445/
• 显著提高Transformer在小规模数据集的性能，特伦托大学联合腾讯提出新损失函数！ http://www.ai2news.com/blog/51315/
• 借助Transformer，DeepMind新模型自动生成CAD草图，网友：建筑设计要起飞了 http://www.ai2news.com/blog/23188/
• ”极简主义“的工业级推荐系统–特征抽取–Transformer http://www.ai2news.com/blog/19804/
• arXiv每日更新-2021.12.7（今日关键词：detection, segmentation, transformer） http://www.ai2news.com/blog/30680/
• NeurIPS2021- Transformer部署难？北大&华为诺亚提出Vision Transformer的后训练量化方法 http://www.ai2news.com/blog/16865/
• ICCV2021 | 用于视频场景图生成的Spatial-Temporal Transformer http://www.ai2news.com/blog/16595/
• Transformer杀疯了！竟在图神经网络的ImageNet大赛中夺冠，力压DeepMind、百度… http://www.ai2news.com/blog/18120/
• NLP 新范式 Transformer 模型在计算机视觉领域的应用如何？ http://www.ai2news.com/blog/12239/
• 最新论文：OODformer-OOD Detection Transformer http://www.ai2news.com/blog/19547/
• 通过学习标记化来提高 Vision Transformer 的效率和准确性 http://www.ai2news.com/blog/22050/
• ICCV 2021 | 谷歌提出MUSIQ：多尺度图像质量Transformer http://www.ai2news.com/blog/17417/
• 详解 Transformer （Attention Is All You Need） http://www.ai2news.com/blog/5331/
• Transformer is All You Need: Multimodal Multitask Learning with a Unified Transformer http://www.ai2news.com/blog/31937/
• 熬了一晚上，我从零实现了Transformer模型，把代码讲给你听 http://www.ai2news.com/blog/22095/
• 关于使用Transformer的一些前沿进展和trick[持续更新] http://www.ai2news.com/blog/31864/
• [细读经典]非自回归机器翻译(1)Insertion Transformer http://www.ai2news.com/blog/20670/
• 【AAAI2022】ShiftVIT: When Shift Operation Meets Vision Transformer http://www.ai2news.com/blog/51977/
• 北大提出ESRT：单幅图像超分辨率的高效Transformer http://www.ai2news.com/blog/17340/
• ICCV2021-PiT-池化操作不是CNN的专属，ViT说：“我也可以”；南大提出池化视觉Transformer（PiT） http://www.ai2news.com/blog/17420/
• 又一任务被Transformer攻陷！NVIDIA开源HORST，用Transformer解决Early Recognition和Anticipation任务 http://www.ai2news.com/blog/51718/
• 论文精读：Attention Is All You Need (e.g. Transformer) http://www.ai2news.com/blog/31379/
• Shuffle Transformer：重新思考视觉Transformer的空间Shuffle http://www.ai2news.com/blog/18331/
• 最新！CVPR 2021 视觉Transformer论文大盘点（43篇） http://www.ai2news.com/blog/17046/
• Transformer学习(五)—Swin Transformer-1 http://www.ai2news.com/blog/28692/
• NLP中的Transformer 简介 http://www.ai2news.com/blog/11051/
• NeurIPS 2021 | MST：用于视觉表征的Masked自监督Transformer http://www.ai2news.com/blog/16540/
• 万亿级别史上最大神经网络—Switch Transformer http://www.ai2news.com/blog/43122/
• CNN vs Transformer、MLP，谁更胜一筹？ http://www.ai2news.com/blog/19630/
• VIVIT：A video vision transformer http://www.ai2news.com/blog/49330/
• ViLT：最简单的多模态Transformer http://www.ai2news.com/blog/16104/
• 谷歌提出：视觉Transformer优于ResNet！无预训练或强数据增广的情况下 http://www.ai2news.com/blog/18467/
• Transformer再显神威！阿里达摩院提出SVRTN：自监督视频检索Transformer网络 http://www.ai2news.com/blog/18989/
• 4篇paper了解Transformer的局部信息建模 http://www.ai2news.com/blog/17185/
• Deformable DETR: 基于稀疏空间采样的注意力机制，让DCN与Transformer一起玩！ http://www.ai2news.com/blog/26015/
• 屠榜各大CV任务！Swin Transformer：层次化视觉Transformer http://www.ai2news.com/blog/20371/
• 万字长文盘点2021年paper大热的Transformer(ViT) http://www.ai2news.com/blog/11528/
• RWKV:一种鱼和熊掌兼得的线性transformer模型 http://www.ai2news.com/blog/50742/
• 【人-物交互检测 Transformer】HOTR: End-to-End Human-Object Interaction Detection with Transformers http://www.ai2news.com/blog/16627/
• ConvNeXt：全面超越Swin Transformer的CNN http://www.ai2news.com/blog/51179/
• NeurIPS’21 | Transformer 在图表示任务中胜过 GNN? http://www.ai2news.com/blog/31802/
• TrOCR：基于Transformer的使用预训练模型的光学字符识别 http://www.ai2news.com/blog/16973/
• Transformer自下而上理解(4) Attention without RNN http://www.ai2news.com/blog/31539/
• DOTAv2遥感图像旋转目标检测竞赛经验分享（Swin Transformer + Anchor free/based方案） http://www.ai2news.com/blog/15912/
• 精度超越Transformer，MIT、港大提出基于物理模型的Neuro-Symbolic视觉推理框架 http://www.ai2news.com/blog/16422/
• 华人团队用Transformer做风格迁移，速度快、可试玩，网友却不买账 http://www.ai2news.com/blog/21891/
• 基于pyTorch的Transformer，时间序列预测 http://www.ai2news.com/blog/18664/
• 三星提出X-ViT：Video Transformer的时空混合注意力 http://www.ai2news.com/blog/18202/
• 基于CNN和Transformer的半监督医学图像分割 http://www.ai2news.com/blog/16182/
• CVPR 2021 | TransFuser：端到端自动驾驶的多模态融合Transformer http://www.ai2news.com/blog/18991/
• Informer：超越Transformer的长序列预测模型 http://www.ai2news.com/blog/43452/
• AI圈真魔幻！谷歌最新研究表明卷积在NLP预训练上竟优于Transformer？LeCun暧昧表态 http://www.ai2news.com/blog/18790/
• 计算机视觉中的Transformer http://www.ai2news.com/blog/31277/
• DeepViT: 我们可不可以像CNN那样堆叠更多Transformer Block来获得图像分类更好的performance呢？ http://www.ai2news.com/blog/31370/
• 视觉子领域中的Transformer http://www.ai2news.com/blog/17692/
• NeurIPS 2021 | 旷视提出DGE：视觉Transformer的动态粒度编码器 http://www.ai2news.com/blog/16416/
• Transformer又出新变体∞-former：无限长期记忆，任意长度上下文 http://www.ai2news.com/blog/21935/
• 《目标检测》-第28章-Vision Transformer http://www.ai2news.com/blog/16146/
• DETR家族｜基于Transformer的检测 http://www.ai2news.com/blog/18999/
• 44种模型、1200种子网，RobustART评测CNN、Transformer、MLP-Mixer谁最鲁棒？ http://www.ai2news.com/blog/19061/
• 时间序列|Temporal Fusion Transformer http://www.ai2news.com/blog/51505/
• Transformer也能生成图像，新型ViTGAN性能比肩基于CNN的GAN http://www.ai2news.com/blog/22697/
• Facebook提出HRViT：多尺度高分辨率视觉Transformer http://www.ai2news.com/blog/16535/
• YOLOv4一作提出Transformer新架构：DPT！替代卷积网络做密集预测 http://www.ai2news.com/blog/16655/
• Transformer如何用于视频？最新「视频Transformer」2022综述 http://www.ai2news.com/blog/51404/
• TimeSformer 解析：视频理解中的transformer http://www.ai2news.com/blog/43691/
• 对transformer结构的一点理解 http://www.ai2news.com/blog/51812/
• 2，Transformer论文源码完整实现 http://www.ai2news.com/blog/48596/
• 使用Transformer与无监督学习，OpenAI提出可迁移至多种NLP任务的通用模型 http://www.ai2news.com/blog/8568/
• Pale Transformer：新的视觉ViT主干 http://www.ai2news.com/blog/15220/
• arXiv每日更新-2021.12.30（今日关键词：feature, classification, transformer) http://www.ai2news.com/blog/30664/
• Transformer自下而上理解(5) 从Attention层到Transformer网络 http://www.ai2news.com/blog/31541/
• 【Vision Transformer】超详解+个人心得 http://www.ai2news.com/blog/19167/
• Swin Transformer V2 论文解析 http://www.ai2news.com/blog/49187/
• FAIR提出MeMViT：高效长期视频识别的记忆增强多尺度视觉Transformer http://www.ai2news.com/blog/51589/
• 不定时更新，transformer 在 CV 领域相关技术论文 http://www.ai2news.com/blog/19046/
• Transformer中的Position Embedding http://www.ai2news.com/blog/33599/
• 【Transformer】Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation http://www.ai2news.com/blog/43741/
• Transformer-based RL (1)：Decision Transformer http://www.ai2news.com/blog/42686/
• SentiBERT： 基于可迁移的transformer的组合的情感语义预训练模型 http://www.ai2news.com/blog/22427/
• 大白话Pyramid Vision Transformer http://www.ai2news.com/blog/16542/
• Transformer in Deep Learning：超详细讲解Attention机制（一） http://www.ai2news.com/blog/39629/
• Transformer 论文详细解读 http://www.ai2news.com/blog/31589/
• transformer杂记 http://www.ai2news.com/blog/44841/
• 一个既能做CV任务，也能做NLP任务的Transformer模型！谷歌&UCLA提出统一的基础模型 http://www.ai2news.com/blog/15217/
• 苹果让Transformer抛弃注意力机制，一切只为效率，项目已开源丨华人一作 http://www.ai2news.com/blog/22832/
• Transformer携手Evolving Attention在CV与NLP领域全面涨点！ http://www.ai2news.com/blog/21109/
• 微软提出Mobile-Former：桥接MobileNet和Transformer http://www.ai2news.com/blog/17556/
• 【视频凝练 Transformer】Video Instance Segmentation using Inter-Frame Communication Transformers http://www.ai2news.com/blog/31886/
• 美团提出基于隐式条件位置编码的Transformer，性能优于ViT和DeiT http://www.ai2news.com/blog/11724/
• McGill&微软将卷积操作加入到Vision Transformer中，捕获更详细的局部信息！预训练下ImageNet Top-1准确率达到87.7%！代码已开源！ http://www.ai2news.com/blog/16441/
• CVPR2021 | 华为诺亚实验室提出Transformer in Transformer http://www.ai2news.com/blog/12581/
• 不是所有图像都值16x16个词，可变序列长度的动态Transformer来了！ http://www.ai2news.com/blog/18146/
• 力挽狂澜！强化Transformer局部注意力！华南理工和阿里团队重磅开源！ http://www.ai2news.com/blog/44837/
• 基于 Transformer 的预训练模型综述 http://www.ai2news.com/blog/20313/
• NeurIPS 2021 | HiT：用于高分辨率GAN的改进型Transformer http://www.ai2news.com/blog/16534/
• 【IDPT论文解读】深入解读 Twins-PCPVT and Twins-SVT —— 更强的Vision Transformer Backbone http://www.ai2news.com/blog/19136/
• Transformer is All You Need：使用统一Transfomer的多模态多任务学习 http://www.ai2news.com/blog/21106/
• “追星”Transformer（一）：一文说清Transformer http://www.ai2news.com/blog/17429/
• AAAI 2021最佳论文《Informer》作者：Transformer 最新进展 http://www.ai2news.com/blog/19405/
• UNETR：用于3D医学图像分割的Transformer http://www.ai2news.com/blog/20399/
• Transformer学习(六)—Swin Transformer-2 http://www.ai2news.com/blog/28694/
• Swin Transformer的继任者 http://www.ai2news.com/blog/18840/
• 显著目标检测新方法：Visual Saliency Transformer（VST），实现SOTA http://www.ai2news.com/blog/20772/
• Vision Transformer 必读系列之图像分类综述(一)：概述 http://www.ai2news.com/blog/51501/
• NeurIPS 2021 | 又一超强视觉Transformer主干！HRFormer：学习高分辨率表征 http://www.ai2news.com/blog/18658/
• NeurIPS2021-港大&腾讯AI Lab&牛津大学提出CARE，让CNN和Transformer能在对比学习中“互帮互助”！ http://www.ai2news.com/blog/16791/
• Fastformer-又简单又好用的Transformer变体！清华&MSRA开源线性复杂度的Fastformer！ http://www.ai2news.com/blog/17216/
• Transformer是如何超越ResNet的？ http://www.ai2news.com/blog/18097/
• Transformer是否真的适合解决时序预测问题 http://www.ai2news.com/blog/43456/
• 原创：两行代码，让 PostLN 成为 Transformer 的最优解（比 PreLN 收敛更快更准，且无需 warmup） http://www.ai2news.com/blog/52610/
• FPT：又是借鉴Transformer，这次多方向融合特征金字塔 | ECCV 2020 http://www.ai2news.com/blog/53337/
• 我们可以无损放大一个Transformer模型吗？ http://www.ai2news.com/blog/17200/
• MT-UNet：用于医学图像分割的混合Transformer U-Net http://www.ai2news.com/blog/16411/
• NAST:时间序列预测的非自回归时空Transformer模型 http://www.ai2news.com/blog/43437/
• 厦大&港大提出nnFormer：用于医学图像分割的交错Transformer http://www.ai2news.com/blog/17162/
• Bert前篇：手把手带你详解Transformer原理 http://www.ai2news.com/blog/15667/
• [No.64]「视觉理解」Vision transformer http://www.ai2news.com/blog/31900/
• Transformer再下一城！TransVOD：基于时空Transformer的端到端视频目标检测 http://www.ai2news.com/blog/18618/
• 论文初读《DPT: Deformable Patch-based Transformer for Visual Recognition》 http://www.ai2news.com/blog/31705/
• 深入解读首个万亿级语言模型 Switch Transformer http://www.ai2news.com/blog/15622/
• 更深和更宽的Transformer，那个比较好？NUS团队给出了给出“Go Wider Instead of Deeper”的结论 http://www.ai2news.com/blog/17542/
• NLP Transformer培训课程:BERT Fine-tuning源码完整实现、调试及案例实战 http://www.ai2news.com/blog/19769/
• #由浅入深# 从 Seq2seq 到 Transformer http://www.ai2news.com/blog/18925/
• 谷歌提出MTV：用于视频识别的多视图Transformer http://www.ai2news.com/blog/51356/
• ViT：Vision Transformer http://www.ai2news.com/blog/35605/
• Mask2Former来了！用于通用图像分割的 Masked-attention Mask Transformer http://www.ai2news.com/blog/16224/
• Transformer再发力！TransCrowd：首个基于Transformer进行弱监督人群计数 http://www.ai2news.com/blog/18988/
• 拿transformer做E2E全景分割，这个通用框架霸榜挑战赛，南大、港大联合提出 http://www.ai2news.com/blog/21713/
• Transformer成为自动驾驶视觉“新王” Tesla和毫末智行为什么都押注它？ http://www.ai2news.com/blog/48826/
• 6. Swin Transformer http://www.ai2news.com/blog/31943/
• LIT：少些注意力的视觉Transformer http://www.ai2news.com/blog/18463/
• NLP | 简单学习一下NLP中的transformer的pytorch代码 http://www.ai2news.com/blog/51341/
• Transformer 的一些说明 http://www.ai2news.com/blog/31507/
• Transformer又来搞事情！百万像素高清图轻松合成，效果迷人 http://www.ai2news.com/blog/31661/
• [论文阅读]DeepViT: Towards Deeper Vision Transformer http://www.ai2news.com/blog/31901/
• JHU提出IFT：图像融合Transformer http://www.ai2news.com/blog/17920/
• Learning Texture Transformer for Image SResolution http://www.ai2news.com/blog/18726/
• 20亿参数，大型视觉Transformer来了，刷新ImageNet Top1 http://www.ai2news.com/blog/23064/
• UniVAE：基于Transformer的单模型、多尺度的VAE模型 http://www.ai2news.com/blog/15547/
• CV 中的transformer http://www.ai2news.com/blog/43705/
• 极市沙龙回顾｜CVPR2021-戴志港：UP-DETR，针对目标检测的无监督预训练Transformer http://www.ai2news.com/blog/20917/
• UC伯克利华人一作：卷积让视觉Transformer性能更强，ImageNet 继续刷点！ http://www.ai2news.com/blog/19063/
• Facebook AI 提出 TimeSformer：完全基于 Transformer 的视频理解框架 http://www.ai2news.com/blog/19007/
• Vision Transformer 在目标检测上的探索，DETR 系列文章解读（二）Deformable DETR http://www.ai2news.com/blog/31787/
• ViT学习笔记2：Swin Transformer http://www.ai2news.com/blog/42080/
• Transformer杀疯了！神助力！刚拿下Kaggle这项CV赛事冠军！ http://www.ai2news.com/blog/16775/
• arXiv每日更新-2021.12.28（今日关键词：segmentation, semantic, detection, transformer) http://www.ai2news.com/blog/30667/
• Transformer 一篇就够了（二）： Transformer中的Self-attenstion http://www.ai2news.com/blog/31571/
• 屠榜目标跟踪！SwinTrack：Transformer跟踪的简单而强大的基线 http://www.ai2news.com/blog/16226/
• 【NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述)】 http://www.ai2news.com/blog/42110/
• 线性Transformer应该不是你要等的那个模型 http://www.ai2news.com/blog/15549/
• AFTer-UNet：医学图像分割的轴向融合Transformer UNet http://www.ai2news.com/blog/16547/
• Match-Ignition: Plugging PageRank into Transformer for Long-form Text Matching 论文解读 http://www.ai2news.com/blog/49250/
• 决策Transformer:通过序列建模的强化学习 http://www.ai2news.com/blog/43427/
• 论文分享：The Sensory Neuron as a Transformer http://www.ai2news.com/blog/21525/
• “追星”Transformer（三）：Transformer的“左手”——BERT模型 http://www.ai2news.com/blog/31510/
• MICCAI2021：Task Transformer network for Joint MRI Reconstruction and Super-Resolution（哈工大徐勇老师） http://www.ai2news.com/blog/43713/
• 【Why】Transformer为什么这么火？ http://www.ai2news.com/blog/27862/
• ICCV 2021 放榜！一文看尽10篇论文的开源项目（检测/分割/Transformer等） http://www.ai2news.com/blog/17748/
• CSWin Transformer：具有十字形窗口的视觉Transformer主干 http://www.ai2news.com/blog/18080/
• NeurIPS 2021 放榜！Transformer或成最大赢家！ http://www.ai2news.com/blog/16364/
• ICCV2021 workshop | 医学影像等小数据集的非自然图像领域能否用transformer？ http://www.ai2news.com/blog/19141/
• 浅谈Transformer的初始化、参数化与标准化 http://www.ai2news.com/blog/15552/
• VIT Vision Transformer | 先从PyTorch代码了解 http://www.ai2news.com/blog/11639/
• 论文 | Medical Transformer: Gated Axial-Attention for Medical Image Segmentation http://www.ai2news.com/blog/49364/
• Transformer再下一城！ETH提出：视频超分辨率Transformer http://www.ai2news.com/blog/18282/
• 详解DT: 基于Transformer的离线强化学习模型 http://www.ai2news.com/blog/42697/
• ICCV2021 | Tokens-to-Token ViT:在ImageNet上从零训练Vision Transformer http://www.ai2news.com/blog/43106/
• VideoTransformer系列(二)：ViViT: A Video Vision Transformer http://www.ai2news.com/blog/31920/
• 一年六篇顶会的清华大神提出Fastformer：史上最快、效果最好的Transformer http://www.ai2news.com/blog/18630/
• ICCV 2021 | TDRG：用于多标签图像识别的基于Transformer的对偶关系图 http://www.ai2news.com/blog/16711/
• 论ViT 的成功不在注意力！ShiftViT 用 Swin Transformer 的精度跑赢 ResNet 的速度！ http://www.ai2news.com/blog/52657/
• 计算机视觉（CV）领域Transformer最新论文及资源整理分享 http://www.ai2news.com/blog/15599/
• 91.3%！首个将Transformer解码器应用于多标签图像分类的方法Query2Label http://www.ai2news.com/blog/53043/
• NLP Transformer培训课程:基于Bayesian Theory的MRC文本理解基础经典模型算法详解 http://www.ai2news.com/blog/19489/
• NeurIPS 2021 | LSTR：用于在线动作检测的长短期Transformer http://www.ai2news.com/blog/16415/
• Transformer自下而上(2) 注意力（Attention）机制 http://www.ai2news.com/blog/31501/
• 简单聊一下Transformer http://www.ai2news.com/blog/31319/
• 谷歌提出ViTGAN：使用视觉Transformer训练GAN http://www.ai2news.com/blog/17982/
• 【DL】图解 Transformer – 李宏毅 http://www.ai2news.com/blog/31403/
• Swin Transformer V2！MSRA原班人马探究了Swin在超大参数下的拓展！提出了30亿参数版本的Swin Transformer！ http://www.ai2news.com/blog/16304/
• Swin Transformer对CNN的降维打击 http://www.ai2news.com/blog/16148/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十八) http://www.ai2news.com/blog/18401/
• Transformer系列笔记2：原始Transformer架构与Seq2Seq问题 http://www.ai2news.com/blog/19134/
• 150行实现基于transformer的英中翻译器 http://www.ai2news.com/blog/44820/
• Transformer 模型的 PyTorch 实现 http://www.ai2news.com/blog/9027/
• NLP Transformer培训课程:NLP阅读理解MRC(Machine Reading Comprehension)数学原理、技术本质及常见算法 http://www.ai2news.com/blog/19487/
• AI 论文解读：基于 Transformer 的多目标跟踪方法 TrackFormer http://www.ai2news.com/blog/12601/
• NLP培训课程第32章：基于Fourier Transform的Transformer模型FNet架构内幕及完整源码实现 http://www.ai2news.com/blog/19318/
• 【ARXIV2111】Restormer: Efficient Transformer for High-Resolution Image Restoration http://www.ai2news.com/blog/23411/
• 各类Transformer都得稍逊一筹，LV-ViT：探索多个用于提升ViT性能的高效Trick http://www.ai2news.com/blog/18998/
• 图解Transformer：Attention Is All You Need http://www.ai2news.com/blog/18298/
• A Survey of Transformer 一份Transformer综述 http://www.ai2news.com/blog/17807/
• arXiv每日更新-20220215（今日关键词：detection, segmentation, transformer) http://www.ai2news.com/blog/52726/
• 只需几个小操作，就能让transformer模型推理速度加3.5倍 http://www.ai2news.com/blog/20754/
• 《NLP情感分析》（七）——Transformer情感分析 http://www.ai2news.com/blog/14360/
• 【无 Softmax】SOFT: Softmax-free Transformer with Linear Complexity http://www.ai2news.com/blog/16027/
• 城大和微软提出：基于Transformer的高保真图像补全 http://www.ai2news.com/blog/20264/
• ACL 2021 | Glancing Transformer：惊鸿一瞥的并行生成模型 http://www.ai2news.com/blog/18794/
• 谁说Transformer把握不住多尺度？中科院等联手提出HRFormer，内存和参数降低40% | NeurIPS 2021 http://www.ai2news.com/blog/21488/
• AAAI 2022 | TransMEF：基于Transformer的多曝光图像融合框架 http://www.ai2news.com/blog/16118/
• ACL’21：个性化的Transformer——连接ID和文字，同时生成推荐和解释 http://www.ai2news.com/blog/33465/
• Transformer,BERT模型介绍 http://www.ai2news.com/blog/24314/
• "未来"的经典之作ViT：transformer is all you need! http://www.ai2news.com/blog/16079/
• NeurIPS 2021 | 55篇 Vision Transformer 相关论文精选合集 http://www.ai2news.com/blog/22058/
• 深度解读Vision Transformer的自监督学习 http://www.ai2news.com/blog/31646/
• 拆 Transformer 系列二：Multi- Head Attention 机制详解 http://www.ai2news.com/blog/10576/
• 视觉Transformer可以在没有自然图像的情况下学习吗？ http://www.ai2news.com/blog/19073/
• 效果远超Transformer！AAAI 2021最佳论文Informer：最强最快的序列预测神器 http://www.ai2news.com/blog/43469/
• 北航等提出Visformer：视觉友好型Transformer http://www.ai2news.com/blog/18982/
• DynamicViT: 动态Token稀疏化的高效视觉 Transformer http://www.ai2news.com/blog/16965/
• 目标检测(DEtection TRansformer)—DETR http://www.ai2news.com/blog/31791/
• 【区分矩阵】Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation http://www.ai2news.com/blog/53160/
• 论文 | Multi-Compound Transformer for Accurate Biomedical Image Segmentation http://www.ai2news.com/blog/49368/
• Transformer in Deep Learning：超详细讲解Attention机制（二） http://www.ai2news.com/blog/39625/
• Transformer in Transformer论文解读 http://www.ai2news.com/blog/42653/
• ResNet超强变体CoTNet！一种新颖的Transformer风格计算机视觉识别模块！京东AI开源！ http://www.ai2news.com/blog/19519/
• NLP Transformer培训课程:Autoencoding Language Models数学原理及模型架构解析 http://www.ai2news.com/blog/19632/
• S2-MLPV2-百度提出目前最强的视觉MLP架构，超越MLP-Mixer、Swin Transformer、CycleMLP等，达到83.6% Top-1准确率 http://www.ai2news.com/blog/17539/
• 微软新作：Focal Self-Attention。超越Swin，Transformer屠榜三大视觉任务！ http://www.ai2news.com/blog/17760/
• VT-UNet：用于精确 3D 肿瘤分割的Volumetric Transformer http://www.ai2news.com/blog/16217/
• Vision Transformer 必读系列之图像分类综述(二): Attention-based http://www.ai2news.com/blog/51794/
• 论文 | UTNet：用于医学图像分割的混合Transformer架构 http://www.ai2news.com/blog/49367/
• 【Cross-Patch Attention】CAT: Cross Attention in Vision Transformer http://www.ai2news.com/blog/16126/
• [论文随读]ACT | 比transformer更快更强的block！ http://www.ai2news.com/blog/27738/
• PFT：用于语义分割的金字塔融合Transformer http://www.ai2news.com/blog/50849/
• 视觉Transformer上榜！DeepMind科学家：2020年AI领域十大研究进展 http://www.ai2news.com/blog/21210/
• arXiv每日更新-2021.12.3（今日关键词：segmentation, transformer, video） http://www.ai2news.com/blog/30700/
• Transformer代码+面试细节 http://www.ai2news.com/blog/31454/
• CNN和Transformer相结合的模型 http://www.ai2news.com/blog/50347/
• Token Labeling：Training a 85.5% Top-1 Accuracy Vision Transformer with 56 M Parameters on ImageNet http://www.ai2news.com/blog/16160/
• CVPR 2021 Oral | Transformer再突破！美团等提出VisTR：视频实例分割网络 http://www.ai2news.com/blog/20931/
• 无卷积！VidTr：视频Transformer http://www.ai2news.com/blog/18981/
• 关于Transformer几个内部细节的总结 http://www.ai2news.com/blog/31489/
• CSWin Transformer：具有十字形窗口的Transformer通用视觉骨干网络 http://www.ai2news.com/blog/19041/
• Swin梅开三度！ETH 开源VRT：刷新视频复原多领域指标的Transformer http://www.ai2news.com/blog/52753/
• GitHub 7.5k star量，各种视觉Transformer的PyTorch实现合集整理好了 http://www.ai2news.com/blog/15195/
• Apple新作：没有注意力的Transformer依然是顶流！！！ http://www.ai2news.com/blog/18469/
• Informer：用于长序列时间序列预测的新型transformer 模型 http://www.ai2news.com/blog/17687/
• 打破Transformer宿命，新秀VOLO开源！横扫CV多项记录，首个超越87%的模型 http://www.ai2news.com/blog/19752/
• RWKV is all you need？一种新语言模型，改进 Transformer http://www.ai2news.com/blog/39601/
• Informer: 效率超过Transformer的长时序预测方法 http://www.ai2news.com/blog/40334/
• 44 种模型、1200 种子网，RobustART 评测 CNN、Transformer、MLP-Mixer 谁最鲁棒？ http://www.ai2news.com/blog/17618/
• Vision Transformer , Vision MLP 超详细解读 (原理分析+代码解读) (目录) http://www.ai2news.com/blog/42696/
• Swin Transformer为主干，清华等提出MoBY自监督学习方法，代码已开源 http://www.ai2news.com/blog/21746/
• 刷新多项SOTA！ETH提出VRT：视频恢复Transformer http://www.ai2news.com/blog/52150/
• 【小白学习笔记】Pytorch之Seq2seq（3）：Transformer http://www.ai2news.com/blog/42747/
• GNN + Transformer = GraphFormers http://www.ai2news.com/blog/31793/
• NeurIPS 2021 | Twins：更高效的Transformer主干网！完美适配下游检测、分割任务 http://www.ai2news.com/blog/16877/
• Vision Transformer论文解读 http://www.ai2news.com/blog/43104/
• Vision Transformer 必读系列之图像分类综述(三): MLP、ConvMixer 和架构分析 http://www.ai2news.com/blog/51919/
• huggingface transformer的tokenizer中的各种token转化方法的区别 http://www.ai2news.com/blog/31567/
• 87.7%准确率！CvT：将卷积引入视觉Transformer http://www.ai2news.com/blog/19022/
• AAAI’21 | 基于图Transformer的多行为推荐算法 http://www.ai2news.com/blog/36948/
• 打破 Transformer 宿命，新秀 VOLO 开源！横扫 CV 多项记录，首个超越 87% 的模型 http://www.ai2news.com/blog/17446/
• 只需2040张图片，训练视觉Transformer：南大吴建鑫团队提出IDMM http://www.ai2news.com/blog/52142/
• 再升级！FAIR提出GANformer2：用于场景生成的组合Transformer | NeurIPS 2021 http://www.ai2news.com/blog/16368/
• 做 Transformer, OpenMMLab 了解一下？ http://www.ai2news.com/blog/18321/
• SPT+LSA：用于小规模数据集的视觉Transformer http://www.ai2news.com/blog/15803/
• ICLR2022 | ViDT: 一个有效且高效的纯transformer目标检测器 http://www.ai2news.com/blog/53050/
• 解决Transformer固有缺陷：复旦大学等提出线性复杂度SOFT http://www.ai2news.com/blog/21135/
• 厦大提出ISTR：基于Transformer的端到端实例分割 http://www.ai2news.com/blog/18909/
• 【深入选取-细粒度视觉分类】A Free Lunch from ViT: Adaptive Attention Multi-Scale Fusion Transformer http://www.ai2news.com/blog/31723/
• ICCV2021 | Vision Transformer中相对位置编码的反思与改进 http://www.ai2news.com/blog/19142/
• 当Transformer遇见YOLOv5！TPH-YOLOv5：让小目标无处遁形！ http://www.ai2news.com/blog/17109/
• 读透特征组合、序列化建模、attention、transformer、bert在推荐系统的应用 http://www.ai2news.com/blog/19798/
• Transformer实现多维时间序列预测 http://www.ai2news.com/blog/43449/
• ICCV2021 | SOTR:使用transformer分割物体 http://www.ai2news.com/blog/7047/
• Transformer学习(四)—DeiT http://www.ai2news.com/blog/28668/
• Vision Transformer 超详细解读 (原理分析+代码解读) (三) http://www.ai2news.com/blog/18493/
• 不用卷积，也能生成清晰图像，华人博士生首次尝试用两个Transformer构建一个GAN http://www.ai2news.com/blog/31374/
• arXiv每日更新-2021.12.10（今日关键词：detection, transformer, representation） http://www.ai2news.com/blog/30676/
• Transformer学习(二) http://www.ai2news.com/blog/28737/
• transformer 图像复原01：Restormer: Efficient Transformer for High-Resolution Image Restoration http://www.ai2news.com/blog/47618/
• CVPR 2021 | PRTR：基于级联Transformer的人体姿态估计 http://www.ai2news.com/blog/19304/
• Query2Label: 用Transformer解码器做多标签图像分类 http://www.ai2news.com/blog/53099/
• 加入池化！PiT：重新思考视觉Transformer的空间尺寸 http://www.ai2news.com/blog/19074/
• Reformer: 一个在训练阶段存储极致压缩的Transformer模型 http://www.ai2news.com/blog/31498/
• Transformer | 详细解读Transformer怎样从零训练并超越ResNet？ http://www.ai2news.com/blog/48429/
• 视觉Transformer的有趣特性 http://www.ai2news.com/blog/18614/
• arXiv每日更新-2021.11.24（今日关键词：detection、transformer） http://www.ai2news.com/blog/30695/
• 引入N-gram改进Transformer架构，ACL匿名论文超越Primer等基准 http://www.ai2news.com/blog/16601/
• 【多尺度交互 & 类别像素交互】Pyramid Fusion Transformer for Semantic Segmentation http://www.ai2news.com/blog/52493/
• Transformer的Decoder的输入输出 http://www.ai2news.com/blog/16440/
• Transformer单卡实现中-英文翻译器 http://www.ai2news.com/blog/48791/
• NeurIPS 2021 | 将Anti-Aliasing混合到视觉Transformer中 http://www.ai2news.com/blog/16592/
• Reformer: The Efficient Transformer 解析 http://www.ai2news.com/blog/21556/
• 【Transformer】10分钟学会Transformer | Pytorch代码讲解 | 代码可运行 http://www.ai2news.com/blog/42707/
• 【论文阅读】《TransFG: A Transformer Architecture for Fine-grained Recognition》 http://www.ai2news.com/blog/52596/
• 「课代表来了」跟李沐读论文之——Transformer http://www.ai2news.com/blog/19526/
• PoseFormer：首个纯基于Transformer的 3D 人体姿态估计网络，性能达到 SOTA http://www.ai2news.com/blog/19015/
• 极简翻译模型Demo，彻底理解Transformer http://www.ai2news.com/blog/42672/
• 中科大&微软提出PeCo：用于视觉Transformer BERT 预训练的感知码本 http://www.ai2news.com/blog/16376/
• Transformer升级之路：2、博采众长的旋转式位置编码 http://www.ai2news.com/blog/15666/
• pytorch实现transformer http://www.ai2news.com/blog/31389/
• 论文阅读笔记：Reformer，一种高效的Transformer结构 http://www.ai2news.com/blog/15386/
• 简单高效！浙大CAD&腾讯&哥大开源跨尺度的Transformer，显著涨点检测、分割、分类三大CV任务！ http://www.ai2news.com/blog/17214/
• Lawin Transformer：大窗口注意力改进多尺度表示的语义分割 http://www.ai2news.com/blog/15234/
• Transformer详解 http://www.ai2news.com/blog/12362/
• T5: 文本到文本的Transformer迁移学习 http://www.ai2news.com/blog/18041/
• AdaViT：用于高效视觉Transformer的自适应Tokens http://www.ai2news.com/blog/16184/
• CPU上实时！E.T.Track：使用Exemplar Transformer进行高效的视觉跟踪 http://www.ai2news.com/blog/16068/
• MViT(Multiscale Vision Transformer) and Improved MViT 论文解析 http://www.ai2news.com/blog/31911/
• Vision Transformer 超详细解读 (原理分析+代码解读) (七) http://www.ai2news.com/blog/18434/
• 带你读AI论文：基于Transformer的直线段检测 http://www.ai2news.com/blog/25949/
• Transformer的CNN化趋势：PVT 和CvT笔记 http://www.ai2news.com/blog/19052/
• Transformer又又又升级了？ http://www.ai2news.com/blog/20513/
• Transformer数据增强 http://www.ai2news.com/blog/15738/
• BAT：用于皮肤病变分割的边界感知Transformer http://www.ai2news.com/blog/16712/
• 清华提出DynamicViT：动态Token稀疏化的高效视觉Transformer http://www.ai2news.com/blog/18466/
• 清华提出DAT：具有可变形注意力的视觉Transformer http://www.ai2news.com/blog/15219/
• PSViT：通过Token池化和注意力共享实现更强的视觉Transformer http://www.ai2news.com/blog/17552/
• Switch Transformer：谷歌万亿参数的语言模型 http://www.ai2news.com/blog/42234/
• 你真的理解transformer了吗（一）- review and rethink http://www.ai2news.com/blog/21438/
• 论文 | COTR 一种基于Transformer的图像匹配网络 http://www.ai2news.com/blog/30903/
• 当我们说GPT2是基于Transformer Decoder的时候，我们在说什么？ http://www.ai2news.com/blog/33766/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十四) http://www.ai2news.com/blog/18438/
• 你真的理解 Transformer 吗？AAAI21最佳论文Runners Up解读！ http://www.ai2news.com/blog/18766/
• [细读经典]Conformer: 用卷积增强的transformer来做ASR http://www.ai2news.com/blog/20794/
• NeurIPS 2021 | HRFormer：用于密集预测的高分辨率Transformer http://www.ai2news.com/blog/16713/
• Transformer 在计算机视觉领域疯狂“内卷” http://www.ai2news.com/blog/20406/
• transformer语音识别系统的decoder预训练 http://www.ai2news.com/blog/33374/
• 图像恢复论文简记——Uformer: A General U-Shaped Transformer for Image Restoration http://www.ai2news.com/blog/15188/
• NeurIPS 2021 | MST：用于Transformer视觉表征的Masked自监督解读 http://www.ai2news.com/blog/21479/
• 【综述】Video-Language Transformer based Pre-training http://www.ai2news.com/blog/21943/
• 推荐几篇近期必看的视觉综述，含GAN、Transformer、人脸超分辨、遥感等 http://www.ai2news.com/blog/18748/
• 加性注意力机制、训练推理效率优于其他Transformer变体，这个Fastformer的确够快 http://www.ai2news.com/blog/22045/
• 视觉Transformer优秀开源工作：timm库vision transformer代码解读 http://www.ai2news.com/blog/18208/
• NLP Transformer培训课程:轻量级ALBERT模型剖析及BERT变种中常见模型优化方式详解 http://www.ai2news.com/blog/19675/
• 论文精读 | 今日出炉的全新视觉 Transformer：高分辨率图像复原新SOTA——Restormer http://www.ai2news.com/blog/15882/
• 用Transformer进行端到端视觉表示学习！ Box-Attention：目标检测、实例分割轻松涨点 http://www.ai2news.com/blog/18243/
• Transformer之Transformer-XL http://www.ai2news.com/blog/28524/
• 没有卷积！TransGAN：首个基于纯Transformer的GAN网络 http://www.ai2news.com/blog/21203/
• 屠榜视频理解几大任务！微软提出：Video Swin Transformer http://www.ai2news.com/blog/18014/
• 带你读AI论文丨用于细粒度分类的Transformer结构—TransFG http://www.ai2news.com/blog/25691/
• 面经：什么是Transformer位置编码？ http://www.ai2news.com/blog/22486/
• ResNet被全面超越了，是Transformer干的：依图科技开源“可大可小”T2T-ViT http://www.ai2news.com/blog/18672/
• Speech Transformer - ASR应用 http://www.ai2news.com/blog/33504/
• 基于Attention/Transformer的时序数据特征学习-3 http://www.ai2news.com/blog/43458/
• 兼具CNN和Transformer优势，灵活使用归纳偏置，Facebook提出ConViT http://www.ai2news.com/blog/22787/
• 也来盘点一些最近的非Transformer工作 http://www.ai2news.com/blog/15674/
• CVPR 2021 | 大连理工大学卢湖川团队提出TransT: Transformer Tracking http://www.ai2news.com/blog/39554/
• 【简读】Transformer Quality in Linear Time http://www.ai2news.com/blog/53189/
• MSA transformer，alphafold2的前半部分？ http://www.ai2news.com/blog/21628/
• Compact Transformer网络详解 http://www.ai2news.com/blog/31339/
• TransBTS：基于Transformer的多模态脑肿瘤分割 http://www.ai2news.com/blog/20930/
• 多尺度视觉Longformer(ViL)：高分辨率图像编码的视觉Transformer http://www.ai2news.com/blog/19484/
• TabTransformer：用于表格数据的Transformer http://www.ai2news.com/blog/17998/
• 霸榜！CCTrans：基于 Transformer 的人群计数新网络！支持强、弱监督 http://www.ai2news.com/blog/17279/
• 北大联合UCLA发表论文：9头以上Transformer就能模拟CNN！ http://www.ai2news.com/blog/16693/
• Vision Transformer 超详细解读 (原理分析+代码解读) (二十三) http://www.ai2news.com/blog/52599/
• 【Focal Transformer】Focal Self-attention for Local-Global Interactions in Vision Transformers http://www.ai2news.com/blog/16233/
• Transformer在时间序列预测中的应用 http://www.ai2news.com/blog/50883/
• [深度学习基础复习]超详细逐步图解Transformer http://www.ai2news.com/blog/31402/
• Transformer再下一城！CVT：首个基于卷积视觉Transformer的人脸表情识别 http://www.ai2news.com/blog/19748/
• CVPR2021-比CNN和Transformer更好的Backbone？UC Berkeley&Google Research,提出BoTNet，ImageNet上精度达84.7% http://www.ai2news.com/blog/17027/
• T2T-ViT：在ImageNet上从头训练视觉Transformer http://www.ai2news.com/blog/48430/
• 【分割 Transformer】SOTR: Segmenting Objects with Transformers http://www.ai2news.com/blog/15699/
• Vit: 图像识别上的Transformer http://www.ai2news.com/blog/15606/
• 论文阅读笔记：CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows http://www.ai2news.com/blog/19050/
• 【嫁接 Transformer】LeViT: a Vision Transformer in ConvNet’s Clothing for Faster Inference http://www.ai2news.com/blog/16229/
• 英特尔提出DPT：基于视觉Transformer的密集预测 http://www.ai2news.com/blog/20357/
• DPT：用于视觉识别的基于可变形Patch的Transformer http://www.ai2news.com/blog/17532/
• Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting http://www.ai2news.com/blog/51763/
• 86.3%准确率！Facebook提出CaiT：更深的视觉Transformer http://www.ai2news.com/blog/19747/
• Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer http://www.ai2news.com/blog/20184/
• 进展 | 计算机视觉中的Transformer http://www.ai2news.com/blog/19622/
• 淘宝推荐算法精排模型BST：Transformer建模用户行为序列 http://www.ai2news.com/blog/36947/
• 【ICLR2022】CrossFormer: A versatile vision transformer http://www.ai2news.com/blog/52900/
• NLP transformer面试题 http://www.ai2news.com/blog/19149/
• CS294-158 第十一讲 附-Transformer注释中译本 http://www.ai2news.com/blog/33935/
• 保姆级教程：图解Transformer http://www.ai2news.com/blog/32644/
• DINO：Self-Supervised Vision Transformer的新特性 http://www.ai2news.com/blog/15991/
• MedT：用于医学图像分割的Transformer http://www.ai2news.com/blog/21093/
• 中科院提出GCsT：用于行为识别的图卷积骨架Transformer http://www.ai2news.com/blog/17013/
• Transformer的9种变体概览 http://www.ai2news.com/blog/31548/
• 44种模型、1200种子网，RobustART评测CNN、Transformer、MLP-Mixer 谁最鲁棒？ http://www.ai2news.com/blog/18029/
• VTN：视频Transformer网络 http://www.ai2news.com/blog/19069/
• 狂卷！极限反超Transformer！重新设计纯卷积ConvNet！逆天了！ http://www.ai2news.com/blog/50877/
• CNN卷土重来！超越Transformer！FAIR重新设计纯卷积架构：ConvNeXt http://www.ai2news.com/blog/50853/
• Paper精读｜胡瀚老师十问解析Swin Transformer http://www.ai2news.com/blog/48602/
• 一文回顾Transformer 和 预训练模型 http://www.ai2news.com/blog/17086/
• Perceiver解读：使用transformer进行多模态融合 http://www.ai2news.com/blog/39572/
• ViT: 简简单单训练一个Transformer Encoder做个图像分类 http://www.ai2news.com/blog/42650/
• Decision Transformer: Reinforcement Learning via Sequence Modeling http://www.ai2news.com/blog/42604/
• 《CARE》NeurIPS2021-港大&腾讯AI Lab&牛津大学提出CARE，让CNN和Transformer能在对比学习中“互帮互助”！ http://www.ai2news.com/blog/16500/
• 通过学习令牌化提高视觉 Transformer 的效率和准确率 http://www.ai2news.com/blog/51402/
• NLP Transformer培训课程:BERT Pre-training模型源码完整实现、测试、调试及可视化分析 http://www.ai2news.com/blog/19631/
• 如何可视化Transformer？ http://www.ai2news.com/blog/42141/
• 《X-ViT》-基于时空混合attention的视频Transformer，大幅度降低计算复杂度 http://www.ai2news.com/blog/16986/
• ICCV2021-《HiT》-北大&FAIR&自动化所&快手提出基于动量对比学习的层次Transformer——HiT，用于视频文本检索！代码已开源！ http://www.ai2news.com/blog/16324/
• 浅谈Transformer的原理与运用 http://www.ai2news.com/blog/17991/
• 【哈希 Attention】Reformer: The Efficient Transformer http://www.ai2news.com/blog/16172/
• Swin Transformer和五个在计算机视觉使用Transformer的理由（2） http://www.ai2news.com/blog/28638/
• Graphormer：融合GNN与Transformer http://www.ai2news.com/blog/42681/
• IPT CVPR 2021 | 底层视觉预训练Transformer | 华为开源代码解读 http://www.ai2news.com/blog/16746/
• 一个大规模的视频OCR数据集和一个基于transformer的算法 http://www.ai2news.com/blog/36245/
• 【两阶段提炼】Visual-Semantic Transformer for Scene Text Recognition http://www.ai2news.com/blog/15233/
• Segmenter：语义分割Transformer http://www.ai2news.com/blog/18738/
• transformer面试题的简单回答 http://www.ai2news.com/blog/15453/
• Shuffle Transformer高效快速的基础模型 http://www.ai2news.com/blog/19057/
• 颜水成博士最新论文简化Transformer！超简单的视觉模型PoolFormer！MetaFormer is Actually What You Need for Vision http://www.ai2news.com/blog/19169/
• 【跨窗口排列】Shuffle Transformer: Rethinking Spatial Shuffle for Vision Transformer http://www.ai2news.com/blog/50879/
• 继 Swin Transformer 之后，MSRA 开源 Video Swin Transformer，在视频数据集上SOTA http://www.ai2news.com/blog/17480/
• Transformer自下而上（1）机器翻译之Sequence-to-Sequence模型 http://www.ai2news.com/blog/31538/
• Transformer在person ReID中的应用（part1) http://www.ai2news.com/blog/31869/
• 北邮提出RePre：通过重构预训练改进自监督视觉Transformer http://www.ai2news.com/blog/51409/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十五) http://www.ai2news.com/blog/18413/
• CVPR2021 | TransCenter: transformer用于多目标跟踪算法 http://www.ai2news.com/blog/17450/
• Detection Transformer（DETR）训练更快收敛的绝佳方案！即插即用的SMCA模块 | ICCV 2021 http://www.ai2news.com/blog/16456/
• 【多范围 Transformer - 多人运动估计】Multi-Person 3D Motion Prediction with Multi-Range Transformers http://www.ai2news.com/blog/31701/
• Vision Transformer 超详细解读 (原理分析+代码解读) (九) http://www.ai2news.com/blog/18435/
• CNN再助力！LocalViT：将Locality带入视觉Transformer http://www.ai2news.com/blog/19072/
• 使用PyTorch Lightning微调transformer（上） http://www.ai2news.com/blog/16186/
• 谷歌MaskGIT：双向Transformer，图像生成新范式！ http://www.ai2news.com/blog/52660/
• 全文翻译 | 华为、北大、悉尼大学：最新视觉Transformer综述（2017-2020年） http://www.ai2news.com/blog/18346/
• [点云特征提取]Point Transformer论文阅读 http://www.ai2news.com/blog/19008/
• Transformer长大了，它的兄弟姐妹们呢？（含Transformers超细节知识点） http://www.ai2news.com/blog/31799/
• 当Transformer遇见U-Net！ http://www.ai2news.com/blog/16659/
• 全新思路！阿里达摩院提出OadTR框架！将Transformer引入在线行为检测！ICCV2021 http://www.ai2news.com/blog/19290/
• [论文精读]07—BST：Transformer在推荐领域的应用 http://www.ai2news.com/blog/19866/
• Transformer再下一城！DocTr：用于几何变形和照明校正的文档图像Transformer http://www.ai2news.com/blog/16589/
• DeepViT：迈向更深的视觉Transformer http://www.ai2news.com/blog/20401/
• Swin Transformer: Hierarchical Vision Transformer using Shifted Windows http://www.ai2news.com/blog/15901/
• 2022视频理解中的Transformer模型综述 http://www.ai2news.com/blog/52437/
• Restormer：用于高分辨率图像恢复的高效Transformer http://www.ai2news.com/blog/16369/
• 北大&华为诺亚提出：视觉Transformer的训练后量化 http://www.ai2news.com/blog/18020/
• 【IDPT论文解读】Transformer iN Transformer(TNT) http://www.ai2news.com/blog/19025/
• NeurIPS 2021 | 谷歌提出VATT：从Raw视频/音频/文本进行多模态自监督学习的Transformer http://www.ai2news.com/blog/16880/
• 计算机视觉领域使用 transformer （Vision Transformer） http://www.ai2news.com/blog/18868/
• Vision Transformer 代码注释 http://www.ai2news.com/blog/43107/
• 《MobileViT》它来了！轻量、通用、适用于移动设备的Transformer！苹果公司提出了MobileViT http://www.ai2news.com/blog/16670/
• NLP培训课程：使用Local dependency轻量级Transformer模型ConvBERT架构内幕及完整源码实现 http://www.ai2news.com/blog/19453/
• 个人笔记 | 轻量化Vision Transformer的MobileVit http://www.ai2news.com/blog/31913/
• Transformer自下而上理解(3) Self-attention机制 http://www.ai2news.com/blog/31490/
• 【填补点云 Transformer】PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers http://www.ai2news.com/blog/31956/
• transformer中的position处理 http://www.ai2news.com/blog/31616/
• Vision Transformer 超详细解读 (原理分析+代码解读) (八) http://www.ai2news.com/blog/18446/
• CV+Transformer之Swin Transformer http://www.ai2news.com/blog/16699/
• 文章研读| Transformer for EI Niño-Southern Oscillation Prediction http://www.ai2news.com/blog/32158/
• arXiv每日更新-2021.11.25（今日关键词：transformer、segmentation、3D） http://www.ai2news.com/blog/30697/
• 用Transformer定义所有ML模型，特斯拉AI总监Karpathy发推感叹AI融合趋势 http://www.ai2news.com/blog/21039/
• Transformer升级之路：从Performer到线性Attention http://www.ai2news.com/blog/17196/
• Transformer原理解读 http://www.ai2news.com/blog/43103/
• 利用 Universal Transformer，翻译将无往不利！ http://www.ai2news.com/blog/8987/
• 当CNN遇到Transformer，华为诺亚&悉尼大学提出架构混合尝试CMT http://www.ai2news.com/blog/19570/
• 史上最细节的自然语言处理NLP/Transformer/BERT/Attention面试问题与答案 http://www.ai2news.com/blog/18888/
• Video Swin Transformer-既Swin Transformer之后，MSRA开源Video Swin Transformer，在视频数据集上SOTA http://www.ai2news.com/blog/17498/
• 华为诺亚提出TNT：Transformer in Transformer http://www.ai2news.com/blog/21072/
• Transformer升级之路：5、作为无限维的线性Attention http://www.ai2news.com/blog/15548/
• 人大金琴团队最新综述：基于 Transformer 的「视频-语言」预训练 http://www.ai2news.com/blog/53300/
• [算法学习]Transformer tokenizers二元店(1) http://www.ai2news.com/blog/20927/
• NeurIPS2021-《HRFormer》-HRNet又出续作啦！国科大&北大&MSRA提出高分辨率Transformer，代码已开源！ http://www.ai2news.com/blog/16790/
• Transformer 原理讲解以及在 CV 领域的应用 http://www.ai2news.com/blog/31595/
• 搜索推荐炼丹笔记：Transformer在搜索推荐中的应用 http://www.ai2news.com/blog/46737/
• 算法工程师必知必会的经典模型系列一：Transformer 模型串讲 http://www.ai2news.com/blog/15001/
• OpenAI新研究补齐Transformer短板，将可预测序列长度提高30倍 http://www.ai2news.com/blog/9728/
• 透过Transformer重新看OCRNet http://www.ai2news.com/blog/16660/
• Vision Transformer新秀：VOLO http://www.ai2news.com/blog/43108/
• SparseTransformer on Time Series Forecasting 时间序列预测：增强局部性与突破内存瓶颈的Transformer http://www.ai2news.com/blog/43459/
• 论文详解：Swin Transformer http://www.ai2news.com/blog/49188/
• 【PVT v2】PVTv2: Improved Baselines with Pyramid Vision Transformer http://www.ai2news.com/blog/16227/
• Graph Transformer——合理灌水 http://www.ai2news.com/blog/49229/
• 还在纠结CNN还是Transformer？清华发表一篇survey：全连接层才是终极答案！ http://www.ai2news.com/blog/39510/
• TrOCR：基于Transformer的新一代光学字符识别 http://www.ai2news.com/blog/17111/
• 你想要的Transformer这里都有 http://www.ai2news.com/blog/21678/
• Restormer: Efficient Transformer for High-Resolution Image Restoration http://www.ai2news.com/blog/17248/
• Transformer 今日应用 http://www.ai2news.com/blog/21342/
• 基于Attention/Transformer的时序数据特征学习-1 http://www.ai2news.com/blog/43473/
• 【NLP】Transformer详解 http://www.ai2news.com/blog/9301/
• Transformer自下而上理解(6) BERT：预训练Transformer http://www.ai2news.com/blog/31540/
• DALL·E 开源，基于 transformer 的文本到图像生成库 http://www.ai2news.com/blog/21361/
• Transformer面试题总结101道题 http://www.ai2news.com/blog/27701/
• 超越PVT、Swin，南大开源高效Transformer：ResT​ http://www.ai2news.com/blog/18317/
• MICCAI 2021 | UTNet：用于医学图像分割的混合Transformer架构 http://www.ai2news.com/blog/17981/
• Transformer的一家！ http://www.ai2news.com/blog/31596/
• ICCV2021 视频领域的纯Transformer方案！谷歌提出ViViT，在多个视频分类基准上SOTA！代码已开源！ http://www.ai2news.com/blog/19042/
• 人工智能Java SDK - NLP - Transformer的常用Tokenizer系列 http://www.ai2news.com/blog/36059/
• 新论文石锤 Transformer：别只看注意力，没有残差和 MLP，它啥都不是 http://www.ai2news.com/blog/17130/
• ViT: transformer用于图像识别 http://www.ai2news.com/blog/36254/
• 【卷积 与 Attention 解析】Demystifying Local Vision Transformer http://www.ai2news.com/blog/33658/
• RL Transformer之Decision Transformer http://www.ai2news.com/blog/42704/
• DS-TransUNet：医学图像分割的双Swin Transformer U-Net http://www.ai2news.com/blog/18284/
• Transformer 模型详解 http://www.ai2news.com/blog/11978/
• ICCV2021 | 用于视觉跟踪的学习时空型transformer http://www.ai2news.com/blog/19146/
• Transformer 一篇就够了（一）： Self-attenstion http://www.ai2news.com/blog/31487/
• NLP培训课程第40章：解除了input and output embeddings耦合对Transformer模型RemBERT架构内幕及完整源码实现 http://www.ai2news.com/blog/19259/
• 视觉Transformer的PyTorch实现合集！多种ViT变体！ http://www.ai2news.com/blog/15804/
• 图解Transformer — Attention Is All You Need http://www.ai2news.com/blog/18420/
• 【长距 Attention + 短距 Conv】Glance-and-Gaze Vision Transformer http://www.ai2news.com/blog/33693/
• NeurIPS 2021 | 86.4%准确率！训练更好的视觉Transformer的Token Labeling http://www.ai2news.com/blog/16537/
• 论文阅读笔记：预训练卷积超越预训练Transformer？ http://www.ai2news.com/blog/15536/
• Swin Transformer: Hierarchical Vision Transformer using Shifted Windows阅读笔记 http://www.ai2news.com/blog/31828/
• 北大提出DRL-Net：用于遮挡行人重识别的Transformer http://www.ai2news.com/blog/17979/
• Github标星1.2K，Visual Transformer 最全最新资源，包含期刊、顶会论文 http://www.ai2news.com/blog/20451/
• 视觉Transformer再升级！美团提出CPVT：条件位置编码Transformer http://www.ai2news.com/blog/19058/
• SOTA模型Swin Transformer是如何炼成的 http://www.ai2news.com/blog/15972/
• MedT: Medical Transformer论文阅读笔记 http://www.ai2news.com/blog/26514/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十七) http://www.ai2news.com/blog/18409/
• 新模型！Conformer！Transformer与CNN的超强融合！中科院、鹏程实验室、华为出品 http://www.ai2news.com/blog/19520/
• GraFormer：用于3D人体姿态估计的图形卷积Transformer http://www.ai2news.com/blog/16914/
• 华为提出PyramidTNT：用金字塔结构改进Transformer！涨点明显！ http://www.ai2news.com/blog/50805/
• Transformer已成新霸主？FAIR等重新设计纯卷积ConvNet，性能反超 http://www.ai2news.com/blog/50886/
• 金字塔Transformer，更适合稠密预测任务的Transformer骨干架构 http://www.ai2news.com/blog/18673/
• 改善模型新思路SOFT！复旦与华为出品：一种去除softmax的线性复杂度Transformer！效果卓越！兼顾精度与复杂度 http://www.ai2news.com/blog/19191/
• 阿里巴巴提出RVT：重新思考鲁棒视觉Transformer的设计原理 http://www.ai2news.com/blog/18705/
• Informer：改进Transformer的长序列时序预测模型 http://www.ai2news.com/blog/43439/
• NeurIPS 2021 | Transformer 比 CNN 更稳健吗？ http://www.ai2news.com/blog/16410/
• CVPR 2021 | 基于Transformer的端到端视频实例分割方法 http://www.ai2news.com/blog/18544/
• 令人心动的transformer http://www.ai2news.com/blog/49189/
• Transformer学习(七)—MobileViT http://www.ai2news.com/blog/28696/
• NLP培训课程第39章：面向Knowledge-intensive任务的Transformer模型RAG的架构内幕及完整源码实现 http://www.ai2news.com/blog/19257/
• Transformer屠榜 | 详细解读2021Google地标识别第一名解决方案 http://www.ai2news.com/blog/16178/
• LG-Transformer：视觉Transformer中的局部到全局自注意力 http://www.ai2news.com/blog/17916/
• [图像复原]Uformer，U型transformer实现去噪去雨去模糊sota http://www.ai2news.com/blog/19038/
• Transformer再下一城！人脸属性Transformer(FAT)：实现精确而鲁棒的妆容迁移 http://www.ai2news.com/blog/19483/
• arXiv每日更新-2021.11.30（今日关键词：video, detection, transformer） http://www.ai2news.com/blog/30696/
• 探究Vision Transformer自注意力（Self-Attention）机制 http://www.ai2news.com/blog/31863/
• Visual Saliency Transformer http://www.ai2news.com/blog/17242/
• 带你轻松理解 Transformer(上) http://www.ai2news.com/blog/12543/
• NeurIPS 2021 | Transformer再立功！谷歌提出MBT：多模态融合的注意力Bottlenecks http://www.ai2news.com/blog/16878/
• Transformer助力拿下ACM MM 2021最佳论文！中国学者占据"半壁江山"！ http://www.ai2news.com/blog/16553/
• 颜水成发了个“简单到令人尴尬”的视觉模型，证明Transformer威力源自整体架构 http://www.ai2news.com/blog/16802/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十一) http://www.ai2news.com/blog/18403/
• Transformer之翻译篇 http://www.ai2news.com/blog/20301/
• 地表最强图神经网络竟然是transformer http://www.ai2news.com/blog/16747/
• RegionViT：视觉Transformer的区域到局部注意力 http://www.ai2news.com/blog/18376/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十九) http://www.ai2news.com/blog/18405/
• 使用PyTorch Lightning微调transformer（下） http://www.ai2news.com/blog/16187/
• 微软出品！TrOCR：基于Transformer 的新一代光学字符识别 http://www.ai2news.com/blog/17237/
• ICCV2021 | TransFER：使用Transformer学习关系感知的面部表情表征 http://www.ai2news.com/blog/19140/
• 谷歌大脑Quoc发布Primer，从操作原语搜索高效Transformer变体 http://www.ai2news.com/blog/17614/
• CNN 与 Transformer ！谷歌最新开源 BoTNet，ImageNet 达 84.7% http://www.ai2news.com/blog/15381/
• ViT涨点神器！北大&华为诺亚提出：视觉Transformer的增强Shortcuts http://www.ai2news.com/blog/18022/
• 深度学习实用算法（1）-Transformer http://www.ai2news.com/blog/53379/
• Vision Transformer复现-bug篇 http://www.ai2news.com/blog/42748/
• Encoder-Decoder与Transformer http://www.ai2news.com/blog/33716/
• 最强Local Vision Transformer：CSWin Transfomer http://www.ai2news.com/blog/15877/
• Transformer再下一城！O2DETR：首个基于Transformer的旋转目标检测 http://www.ai2news.com/blog/18371/
• NLP培训课程第3章: 细说Language Model内幕及Transformer XL源码实现 http://www.ai2news.com/blog/7035/
• 在注意力中重新思考Softmax：分解非线性，这个线性transformer变体实现多项SOTA http://www.ai2news.com/blog/53179/
• 论文分享：Decision Transformer: Reinforcement Learning via Sequence Modeling http://www.ai2news.com/blog/21457/
• 阿里提出KVT：提升视觉Transformer的 k-NN 注意力 http://www.ai2news.com/blog/18424/
• SwinT的进阶-CSWin Transformer http://www.ai2news.com/blog/16000/
• Vision Transformer 超详细解读 (原理分析+代码解读) (十三) http://www.ai2news.com/blog/18444/
• 【NLP论文速递&&源码】中文命名实体识别03（协同图网络、中文文本编码、自适应Transformer、骰子损失） http://www.ai2news.com/blog/27814/
• 厦大&港大重磅开源nnFormer：用于医学图像分割的交叉Transformer http://www.ai2news.com/blog/17110/
• CNN与Transformer的强强联合！谷歌开源BoTNet，ImageNet达84.7%准确率 http://www.ai2news.com/blog/21110/
• CV和NLP领域的Transformer http://www.ai2news.com/blog/28563/
• 【精华】BERT，Transformer，Attention（下） http://www.ai2news.com/blog/31503/
• TransGAN：使用Transformer替换卷积也可以构建一个强力的GAN http://www.ai2news.com/blog/18156/
• 【精华】BERT，Transformer，Attention（中） http://www.ai2news.com/blog/31602/
• Swin Transformer和五个在计算机视觉使用Transformer的理由（1） http://www.ai2news.com/blog/28778/
• Armor：用于视觉Transformer的可泛化紧凑型自注意力 http://www.ai2news.com/blog/17725/
• 利用 Transformer 网络建立预测模型 http://www.ai2news.com/blog/17816/
• 首个将 vision transformer 应用在细粒度视觉分类的模型 TransFG，性能优于 SOTA http://www.ai2news.com/blog/21092/
• LG-Transformer：全局和局部建模Transformer结构新作 http://www.ai2news.com/blog/17707/
• 基于Transformer的机器翻译Demo介绍 http://www.ai2news.com/blog/42754/
• 一个简单车辆分类案例带你入门Transformer http://www.ai2news.com/blog/20585/
• 全领域涨点 | Transformer携Evolving Attention在CV与NLP领域全面涨点 http://www.ai2news.com/blog/31594/
• Transformer http://www.ai2news.com/blog/44830/
• 使用transformer进行图像质量评价模型MUSIQ http://www.ai2news.com/blog/16024/
• Transformer 修炼之道（一）、Input Embedding http://www.ai2news.com/blog/26013/
• 教你用PyTorch玩转Transformer英译中翻译模型！ http://www.ai2news.com/blog/24130/
• Transformer系列笔记1：Self-Attention机制 http://www.ai2news.com/blog/19132/
• 一个视频等于三个视角：基于三叉Transformer的视频行人重识别 http://www.ai2news.com/blog/19611/
• U2-Former：用于图像恢复的嵌套 U 形Transformer http://www.ai2news.com/blog/19013/
• 前沿追踪 | 强化学习月度十大动态 2106 期：Decision Transformer，通用人工智能，芯片设计等 http://www.ai2news.com/blog/23998/
• ICCV 2021 Workshop｜医学影像等小数据集能否用Transformer替代CNN？ http://www.ai2news.com/blog/18454/
• Transformer学习(九)—DETR http://www.ai2news.com/blog/28695/
• 【金字塔 PVT】Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions http://www.ai2news.com/blog/16215/
• Swin-Unet：Unet形状的纯Transformer的医学图像分割 http://www.ai2news.com/blog/18739/
• 基于Attention/Transformer的时序数据特征学习-2 http://www.ai2news.com/blog/43472/
• Transformer in Deep Learning：超详细讲解Attention机制（三） http://www.ai2news.com/blog/39631/
• ICCV2021 | 渐进采样式Vision Transformer http://www.ai2news.com/blog/7087/
• CVPR2021 | Transformer用于End-to-End视频实例分割 http://www.ai2news.com/blog/13322/
• Self-Attention 与 Transformer http://www.ai2news.com/blog/5539/
• NLP培训课程第35章：聚焦于长文本处理的Transformer模型LED架构内幕及完整源码实现 http://www.ai2news.com/blog/19321/
• 经典序列模型简介（RNN、Seq2Seq、LSTM、GRU、Transformer） http://www.ai2news.com/blog/19845/
• Mobile-Former: Bridging MobileNet and Transformer http://www.ai2news.com/blog/17322/
• ICLR 2022 Spotlight | Anomaly Transformer:基于关联差异的时序异常检测方法 http://www.ai2news.com/blog/52591/
• Multi-Scale Densenet续作？搞定Transformer降采样，清华联合华为开源动态ViT！ http://www.ai2news.com/blog/18915/
• 一张图等于16x16个字，那一个视频呢？STAM：基于Transformer的行为识别新网络 http://www.ai2news.com/blog/19060/
• ETH提出TransCNN：卷积神经网络中的Transformer http://www.ai2news.com/blog/18373/
• ViViT–基于Transformer的视频时空信息处理 http://www.ai2news.com/blog/19009/
• 【论文笔记】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows http://www.ai2news.com/blog/42680/
• NLP Transformer培训课程:BERT CommonLit Readability Prize比赛中的高分思路及源码解析 http://www.ai2news.com/blog/19594/
• 首次！阿里达摩院将Pure Transformer 应用于目标重识别ReID！效果显著！ http://www.ai2news.com/blog/19391/
• CVPR2021 | 基于transformer的视频实例分割网络VisTR http://www.ai2news.com/blog/31739/
• 最新Transformer模型大盘点，NLP学习必备，Google AI研究员出品丨资源 http://www.ai2news.com/blog/19299/
• MICCAI 2021 | MBT-Net：角膜内皮细胞分割的多分支混合Transformer网络 http://www.ai2news.com/blog/18151/
• Transformer 架构逐层功能介绍和详细解释 http://www.ai2news.com/blog/50812/
• NeurIPS 2021 | 喜提Oral！Motionformer：视频Transformer中的轨迹注意力 http://www.ai2news.com/blog/16413/
• NLP实操手册: 基于Transformer的深度学习架构的应用指南(综述) http://www.ai2news.com/blog/18717/
• NLP培训课程第46章：从tabular data中获得答案的Transformer模型TAPAS架构内幕及其Tokenizer完整源码实现 http://www.ai2news.com/blog/19156/
• 【绘画】Paint Transformer: Feed Forward Neural Painting with Stroke Prediction http://www.ai2news.com/blog/31759/
• Vision Transformer 超详细解读 (原理分析+代码解读) (二十) http://www.ai2news.com/blog/18404/
• 基于transformer的文本生成开源项目(基于pytorch) http://www.ai2news.com/blog/13016/
• INSET: Sentence Infilling with INter-SEntential Transformer http://www.ai2news.com/blog/52996/
• 视频分类利器之Video Swin Transformer http://www.ai2news.com/blog/43706/
• 【论文笔记】Swin Transformer：一种优异的计算机视觉骨干网络 http://www.ai2news.com/blog/51458/
• 【深度估计 Transformer】Vision Transformers for Dense Prediction http://www.ai2news.com/blog/31699/
• Transformer Family http://www.ai2news.com/blog/48996/
• 把Transformer结构剪成ResNet结构！新的MSA和卷积操作之间的权重共享方案 http://www.ai2news.com/blog/18384/
• Patches…：像Transformer一样设计CNN http://www.ai2news.com/blog/19045/
• 两个小模型就能吊打大模型！北大校友、谷歌华人一作「模型集合」，CNN、Transformer都适用！ http://www.ai2news.com/blog/43701/
• Graphormer详解！| Transformer如何在图表示中大放异彩 http://www.ai2news.com/blog/31648/
• Transformer? This note is all you need! 一文梳理W2V到BERT预训练、Seq2Seq、Attention机制及Transformer原理 http://www.ai2news.com/blog/31408/
• 【HRViT】HRViT: Multi-Scale High-Resolution Vision Transformer http://www.ai2news.com/blog/16121/
• [论文笔记]CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation http://www.ai2news.com/blog/18997/
• 2021-Swin Transformer Attention机制的详细推导 http://www.ai2news.com/blog/42654/
• 视觉Transformer综述！中科院、东南大学出品！超强总结！最新版本137篇参考文献！ http://www.ai2news.com/blog/19253/
• 升维挑衅：1维虫子Transformer代替2维虫子CNN http://www.ai2news.com/blog/48433/
• 超越Swin，Transformer屠榜三大视觉任务！微软推出新作：Focal Self-Attention http://www.ai2news.com/blog/19619/
• Transformer （Attention is all your need.） http://www.ai2news.com/blog/20295/
• This post is all you need（④Transformer的实现过程） http://www.ai2news.com/blog/23917/
• 关于Transformer在医学图像分割上的论文汇总(一) http://www.ai2news.com/blog/42097/
• VisualSparta：首个基于Transformer的大规模文本到图像检索 http://www.ai2news.com/blog/44850/
• 个人笔记 | 针对Vision Transformer剪枝的NViT http://www.ai2news.com/blog/31962/
• NLP Transformer培训课程:通过30+个细分模块完整实现Transformer论文源码及项目调试 http://www.ai2news.com/blog/19633/
• 复旦邱锡鹏组最新Transformer综述 http://www.ai2news.com/blog/33930/
• 谷歌研究员：Transformer那些有趣的特性 http://www.ai2news.com/blog/20352/
• 【CNN + Transformer】Revitalizing CNN Attentions via Transformers in Self-Supervised Learning http://www.ai2news.com/blog/15956/
• BERT和Transformer知识点解答 http://www.ai2news.com/blog/23790/
• 高效桥接 CNN 和 Transformer 的混合模型： CoTr，3D医学图像分割新技术 http://www.ai2news.com/blog/21147/
• 华为诺亚高效视觉Transformer系列工作 http://www.ai2news.com/blog/46841/
• 重磅！中科大、微软亚研院提出PeCo: 视觉Transformer BERT新范式！性能超强！ http://www.ai2news.com/blog/19174/
• Seq2Seq&Attention&Transformer，点击查看~ http://www.ai2news.com/blog/6941/
• NLP培训课程第44章：Text-to-Text Transfer Transformer (T5)架构内幕及完整源码 http://www.ai2news.com/blog/19152/
• 【RASA】DIET：Dual Intent and Entity Transformer http://www.ai2news.com/blog/22083/
• 业界第一篇视觉Transformer综述入选TPAMI 2022 http://www.ai2news.com/blog/53211/
• Transformer后续研究综述（一） http://www.ai2news.com/blog/21680/
• 【知识图谱系列】Transformer难道要大一统AI邻域？速看OGB-LSC比赛榜首Graphormer http://www.ai2news.com/blog/49004/
• 可逆Transformer：ReFormer http://www.ai2news.com/blog/16821/
• Transformer 杀疯了！助力拿下 Kaggle 这项CV赛事冠军！ http://www.ai2news.com/blog/17202/
• [MICCAI2021] Medical Transformer: Gated Axial-Attention for Medical Image Segmentation http://www.ai2news.com/blog/17443/
• 中文实体识别SOTA模型Flat-Lattice Transformer效果复现及原理分析 http://www.ai2news.com/blog/15301/
• Vision Transformer (ViT) 论文简记 http://www.ai2news.com/blog/39589/
• Vision Transformer 之 CSWin Transformer http://www.ai2news.com/blog/16936/
• NLP/CV Transformer模型压缩量化行为大赏 http://www.ai2news.com/blog/31650/
• 论文笔记——Segformer: 一种基于Transformer的语义分割方法 http://www.ai2news.com/blog/31645/
• 《AFTrans》来自ViT的免费午餐！北大&阿里提出用于细粒度视觉识别的自适应注意多尺度融合Transformer http://www.ai2news.com/blog/15754/
• Transformer与文本识别(系列一) http://www.ai2news.com/blog/48782/
• 从FWP到线性注意力：Schmidhuber如何比Transformer「率先」发明Linear Transformer http://www.ai2news.com/blog/16202/
• 【视频交互 Chunk】Shifted Chunk Transformer for Spatio-Temporal Representational Learning http://www.ai2news.com/blog/31884/
• MobileViT: 将CNN与transformer结合的轻量网络 http://www.ai2news.com/blog/19049/
• 归纳偏置多余了？靠“数据堆砌”火拼Transformer，MLP架构可有胜算？ http://www.ai2news.com/blog/22906/
• Transformer性能被高估？DeepMind动态评估模型的时间泛化能力 http://www.ai2news.com/blog/16525/
• 不到30行Python代码实现Transformer中的多头注意力 http://www.ai2news.com/blog/28726/
• ICCV2021-《ViViT》-视频领域的纯Transformer方案！谷歌提出ViViT，在多个视频分类基准上SOTA！代码已开源！ http://www.ai2news.com/blog/16263/
• NLP培训课程第50章：基于local windowed attention处理长文本对Transformer模型Longformer架构内幕及完整源码实现 http://www.ai2news.com/blog/19158/
• 国科大团队提出首个CNN和Transformer双体基网模型，Conformer准确率高达84.1%！ http://www.ai2news.com/blog/48722/
• Transformer系列–浅谈CSWin Transformer http://www.ai2news.com/blog/19139/
• 面试准备 transformer及各种周边（待续） http://www.ai2news.com/blog/16597/
• 介绍几篇自动驾驶中基于transformer的trajectory prediction/planning论文 http://www.ai2news.com/blog/48466/
• NVIDIA提出Long-Short Transformer：语言和视觉的高效Transformer http://www.ai2news.com/blog/17980/
• 【双模态 Transformer 可视化】Generic Attention-model Explainability for Interpreting http://www.ai2news.com/blog/31883/
• ICCV2021 | 医学影像等小数据集的非自然图像领域能否用transformer？ http://www.ai2news.com/blog/6984/
• [微软，Visual Transformer] 端到端重建人体形状 http://www.ai2news.com/blog/19000/
• Transformer走下神坛？南加州大学教授：想解决常识问题，神经网络不是答案 http://www.ai2news.com/blog/50775/
• 无卷积！金字塔视觉Transformer(PVT)：用于密集预测的多功能backbone http://www.ai2news.com/blog/19075/
• NLP Transformer培训课程:Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现 http://www.ai2news.com/blog/19634/
• transformer和CNN各种结合方式相关的文章（不完全统计） http://www.ai2news.com/blog/19048/
• ICCV2021 | Swin Transformer: 使用移位窗口的分层视觉Transformer http://www.ai2news.com/blog/19144/
• 一文看懂 9 种Transformer结构！ http://www.ai2news.com/blog/18302/
• arXiv每日更新-2021.12.15（今日关键词：detection, video, transformer） http://www.ai2news.com/blog/30686/
• 想看就能看懂的Transformer详解和形象化解释 http://www.ai2news.com/blog/31398/
• arXiv每日更新-2022.1.4（今日关键词：transformer, recognition, segmentation) http://www.ai2news.com/blog/30668/
• AAAI 2021 | 利用双流卷积增强的Transformer进行WiFi-based人体动作识别 http://www.ai2news.com/blog/19029/
• 豪取4个SOTA，谷歌魔改Transformer登NeurIPS 2021！一层8个token比1024个还好用 http://www.ai2news.com/blog/18103/
• FAIR 重新设计纯卷积架构：ConvNeXt，CNN卷土重来！超越Transformer！ http://www.ai2news.com/blog/50888/
• 美团&阿大提出Twins：重新审视视觉Transformer中的空间注意力设计 http://www.ai2news.com/blog/18869/
• Transformer深度剖析 http://www.ai2news.com/blog/31671/
• Transformer在person ReID中的应用-video ReID（part2) http://www.ai2news.com/blog/31865/
• Swin Transformer http://www.ai2news.com/blog/28553/
• Transformer学习(一) http://www.ai2news.com/blog/28712/
• BERT 大火却不懂 Transformer？读这一篇就够了 http://www.ai2news.com/blog/5222/
• Transformer再发力！北航等提出STT：首个用于视频行人重识别的时空Transformer http://www.ai2news.com/blog/19681/
• VIT：如何将Transformer更好的应用到CV领域 http://www.ai2news.com/blog/15411/
• FAIR提出MViT：多尺度视觉Transformer http://www.ai2news.com/blog/19108/
• paper30：∞-former: Infinite Memory Transformer http://www.ai2news.com/blog/25954/
• NLP培训课程第33章：过滤掉sequential redundancy对Transformer模型Funnel-Transformer架构内幕及完整源码实现 http://www.ai2news.com/blog/19319/
• Fastformer：史上最强最快Transformer！清华、微软亚洲研究院出品！ http://www.ai2news.com/blog/19429/
• Transformer in Convolutional Neural Networks阅读笔记 http://www.ai2news.com/blog/31829/
• 我删掉了Transformer中的这几层，性能反而变好了 http://www.ai2news.com/blog/52146/
• 清华提出DVT：自适应序列长度的动态视觉Transformer http://www.ai2news.com/blog/18464/
• Transformer详解encoder http://www.ai2news.com/blog/17155/
• NLP大杀器：Transformer http://www.ai2news.com/blog/43848/
• 练就聚焦能力Transformer——微软提出有的放矢分配自注意力的Focal self-attention新机制 http://www.ai2news.com/blog/31483/
• NLP培训课程第49章：基于Residual Attention机制的Transformer模型Reformer架构内幕及完整源码实现 http://www.ai2news.com/blog/19157/
• UCLA提出STAR：基于稀疏Transformer的行为识别 http://www.ai2news.com/blog/17917/
• 牛津大学提出ViP：用Transformer表示部分-整体层次结构 http://www.ai2news.com/blog/17914/
• Transformer随笔:作用、原理与结构。 http://www.ai2news.com/blog/19987/
• CNN、Transformer、MLP架构的经验性分析 http://www.ai2news.com/blog/17827/
• Transformer再下一城！VolT：用于多视图3D重建的3D Volume Transformer http://www.ai2news.com/blog/19062/
• 生成视频动态场景图的Spatial-Temporal Transformer http://www.ai2news.com/blog/19474/
• Transformer需要注意力吗？ 惊讶发现：前馈层在ImageNet上表现出色 http://www.ai2news.com/blog/18785/
• Apple新作：没有注意力的Transformer依然是顶流！ http://www.ai2news.com/blog/20388/
• RL Transformer之Trajectory Transformers http://www.ai2news.com/blog/42705/
• Vision Transformer 超详细解读 (原理分析+代码解读) (四) http://www.ai2news.com/blog/18492/
• UN-EPT | 一种用于语义分割任务的统一高效金字塔Transformer网络 http://www.ai2news.com/blog/31497/
• 【ICLR2021】ViT : Vision Transformer解读（论文+源码） http://www.ai2news.com/blog/31915/
• 秀！ImageNet又被Long-Short Transformer 霸榜！ http://www.ai2news.com/blog/19577/
• 用CNN和Transformer组合打出一套UniFormer：在六大视觉任务上大放光彩！ http://www.ai2news.com/blog/52332/
• “文艺复兴” ConvNet卷土重来，压过Transformer！FAIR重新设计纯卷积新架构 http://www.ai2news.com/blog/50858/
• CV Transformer相关论文及PyTorch代码 http://www.ai2news.com/blog/26104/
• MIT提出ViT-ResNAS：搜索高效的多阶段视觉Transformer http://www.ai2news.com/blog/17083/
• 图解swin transformer http://www.ai2news.com/blog/12560/
• 【Transformer】Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images http://www.ai2news.com/blog/43742/
• Transformer in CV 论文总结（1）ViT http://www.ai2news.com/blog/42670/
• ICCV2021-《CrossViT》-MIT-IBM AI Lab开源CrossViT，Transformer开始走向多分支、多尺度（附目前多尺度ViT的异同点对比） http://www.ai2news.com/blog/17150/
• Transformer层结构的重排序 http://www.ai2news.com/blog/15419/
• Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer笔记 http://www.ai2news.com/blog/15919/
• 港中文博士提出首个基于Transformer的条件GAN：成像质量仍不如CNN http://www.ai2news.com/blog/42694/
• 时序预测的DL-based方法总结：Attention、Transformer、GNN、GAN、… http://www.ai2news.com/blog/27827/
• 【视频检索多模态 Transformer】Multi-modal Transformer for Video Retrieval http://www.ai2news.com/blog/31881/
• Swin Transformer夺得ICCV 2021最佳论文！中国学者拿下“半壁江山”！ http://www.ai2news.com/blog/16774/
• 5分钟NLP：从 Bag of Words 到 Transformer 的时间年表总结 http://www.ai2news.com/blog/52736/
• PMTrans：医学图像分割的金字塔医学Transformer http://www.ai2news.com/blog/18907/
• Apple提出MobileViT：轻量级、通用且适合移动设备的视觉Transformer http://www.ai2news.com/blog/16757/
• SOTA！苹果公司提出MobileViT模型！更小、更轻、更通用、精度更高的Vision Transformer！ http://www.ai2news.com/blog/19338/
• Huggingface🤗NLP笔记2：一文看清Transformer大家族的三股势力 http://www.ai2news.com/blog/15375/
• 华中科大提出YOLOS：通过目标检测重新思考视觉Transformer http://www.ai2news.com/blog/18557/
• 如何用PyTorch训练一个Transformer语言模型学习词嵌入 http://www.ai2news.com/blog/17115/
• 谷歌新论文石锤Transformer！别只看注意力，没有残差和MLP，它啥都不是 http://www.ai2news.com/blog/20610/
• 谷歌MaskGIT｜双向Transformer，图像生成新范式！ http://www.ai2news.com/blog/52671/
• Evo-ViT：高性能Transformer加速方法 http://www.ai2news.com/blog/16518/
• 屠榜三大视觉任务！EDT：Low-level视觉的高效Transformer和图像预训练 http://www.ai2news.com/blog/16067/
• 【NLP实战_16】来自Google的Transformer模型 http://www.ai2news.com/blog/52190/
• 【简读】Swin Transformer V2: Scaling Up Capacity and Resolution http://www.ai2news.com/blog/31917/
• 谷歌提出ColTran：Colorization Transformer http://www.ai2news.com/blog/21269/
• 视觉问答｜LXMERT—双路Transformer跨模态编码器结构 http://www.ai2news.com/blog/15822/
• Semiformer：半监督视觉Transformer http://www.ai2news.com/blog/16375/
• 贝叶斯Bayesian Transformer http://www.ai2news.com/blog/19494/
• Transformer Yes！恭喜华为诺亚方舟实验室荣获MIT Scene Parsing Benchmark冠军！ http://www.ai2news.com/blog/26516/
• 爆火的 Swin Transformer 到底做对了什么 http://www.ai2news.com/blog/23391/
• 通用性Transformer基石之作——Swin-Transformer带来多任务大范围性能提升 http://www.ai2news.com/blog/42671/
• HAT：Hardware-Aware Transformer http://www.ai2news.com/blog/42806/
• Transformer Survey http://www.ai2news.com/blog/22279/
• transformer中的attention，看完不懂扇我脸 http://www.ai2news.com/blog/31853/
• 图解Swin Transformer http://www.ai2news.com/blog/17328/
• 矩阵视角下的Transformer详解（附代码） http://www.ai2news.com/blog/51837/
• An Image is Worth 16x16 Words（VIT transformer）解读 http://www.ai2news.com/blog/32199/
• 用Transformer进行图像语义分割，性能超最先进的卷积方法！ http://www.ai2news.com/blog/19040/
• PoseFormer：首个纯基于 Transformer 的 3D 人体姿态估计网络，性能达到 SOTA http://www.ai2news.com/blog/18292/
• 涨点神器！SeMask：用于语义分割的语义Masked Transformer http://www.ai2news.com/blog/16073/
• 【多尺度 + 间隔注意】Transformer CrossFormer: A Versatile Vision Transformer Based On Cross-Scale Attention http://www.ai2news.com/blog/16212/
• Learning Spatio-Temporal Transformer for Visual Tracking 速读 http://www.ai2news.com/blog/19268/
• NLP培训课程第41章：为Open Domain Long Form Question Answering而设计的Transformer模型RetriBERT架构内幕及完整源码实现 http://www.ai2news.com/blog/19260/
• 3D人体姿态估计方法 MHFormer：Multi-Hypothesis Transformer http://www.ai2news.com/blog/19226/
• CoTr：基于CNN和Transformer进行3D医学图像分割 http://www.ai2news.com/blog/19011/
• 超强领先！Transformer图像复原效果显著！ http://www.ai2news.com/blog/19427/
• Transformer一作又出新作！HaloNet：用Self-Attention的方式卷积 http://www.ai2news.com/blog/19628/
• 近期大火的Transformer，我也简单总结两句 http://www.ai2news.com/blog/43670/
• Swin-UNet：基于纯 Transformer 结构的语义分割网络 http://www.ai2news.com/blog/18768/
• Transformer在实例分割中的应用 http://www.ai2news.com/blog/23223/
• 基于Attention/Transformer的时序数据特征学习-4 http://www.ai2news.com/blog/42684/
• Vision Transformer http://www.ai2news.com/blog/42824/
• NLP Transformer培训课程:挑战BERT地位的Autoregressive语言模型XLNet剖析及源码完整实现 http://www.ai2news.com/blog/19592/
• 【语义关联 Transformer】CATs: Cost Aggregation Transformers for Visual Correspondence http://www.ai2news.com/blog/31848/
• 用于大规模图像缩放识别的Vision Transformer http://www.ai2news.com/blog/24521/
• 李宏毅2021机器学习【week4】：Transformer & BN http://www.ai2news.com/blog/42319/
• 全网最强ViT (Vision Transformer)原理及代码解析 http://www.ai2news.com/blog/44848/
• Transformer Decoder-Only 模型批量生成 Trick http://www.ai2news.com/blog/44916/
• 北大华为鹏城联合首次提出视觉 Transformer 后量化算法！ http://www.ai2news.com/blog/43675/
• Transformer再下一城！I2C2W：用于场景文本识别的图像-字符-单词的Transformer http://www.ai2news.com/blog/18707/
• 谷歌大脑提出：理解用于图像分类的Transformer的鲁棒性 http://www.ai2news.com/blog/19056/
• Vision Transformer学习笔记1：ViT http://www.ai2news.com/blog/42077/
• Switch Transformer: 高效稀疏的万亿参数Transformer http://www.ai2news.com/blog/18043/
• 推荐系统中的Transformer结构 http://www.ai2news.com/blog/31592/
• MetaFormer: transformer真正work的地方在哪里？ http://www.ai2news.com/blog/19463/
• Transformer在计算机视觉领域走到哪了？ http://www.ai2news.com/blog/17843/
• 基于去噪Transformer的无监督句子编码 http://www.ai2news.com/blog/6983/
• TPH-YOLOv5：基于Transformer的改进YOLOv5的无人机目标检测 http://www.ai2news.com/blog/17161/
• MSRA的Transformer跨界超越CNN，还解决了计算复杂度难题 http://www.ai2news.com/blog/24135/
• 支持Transformer全流程训练加速，最高加速3倍！字节跳动LightSeq上新 http://www.ai2news.com/blog/22966/
• CVPR 2021 | 使用Transformer和自监督学习改进跨模态食谱检索 http://www.ai2news.com/blog/20373/
• 超强评测CNN、Transformer、MLP-Mixer谁最鲁棒？44种模型、1200种子网 http://www.ai2news.com/blog/30713/
• 理论梳理 - 从入门了解注意力机制到transformer http://www.ai2news.com/blog/31652/
• 互协方差注意力Transformer：XCiT http://www.ai2news.com/blog/17806/
• 快手提出SCT：用于时-空表征学习的移位块Transformer http://www.ai2news.com/blog/17341/
• 十一、大火的transformer http://www.ai2news.com/blog/42638/
• Transformer与MLP论文报告 http://www.ai2news.com/blog/19067/
• NLP Transformer培训课程:ALBERT Pre-training模型及Fine-tuning源码完整实现、案例及调试 http://www.ai2news.com/blog/19674/
• Vision Transformer 超详细解读 (原理分析+代码解读) (二十一) http://www.ai2news.com/blog/42656/
• 无卷积！谷歌提出ViViT：视频视觉Transformer http://www.ai2news.com/blog/19076/
• 【多模态检测 Transformer】Cross-Modality Fusion Transformer for Multispectral Object Detection http://www.ai2news.com/blog/31727/
• NLP Transformer培训课程:MRC通用架构双线模型内核机制、数学原理、及组件内幕 http://www.ai2news.com/blog/19488/
• 何恺明团队出品！MoCo V3 自监督视觉Transformer http://www.ai2news.com/blog/19516/
• Transformer 修炼之道（三）、Decoder http://www.ai2news.com/blog/26017/
• Time-shift: 一行代码，免费提高 Transformer 性能（无参数，无耗时） http://www.ai2news.com/blog/39612/
• NLP培训课程第44章：Text-to-Text Transformer (T5)架构内幕及完整源码 http://www.ai2news.com/blog/19016/
• ICLR 2022 Open Review投稿文章一览，「Transformer」、「对比学习」异军突起，「图神经网络」稳居前三 http://www.ai2news.com/blog/20019/
• CVPR 2021 Oral | Transformer遇见跟踪器：利用时间上下文进行视觉追踪 http://www.ai2news.com/blog/20459/
• ICCV 2021 Oral | 何恺明团队提出MoCo v3：训练自监督视觉Transformer的实证研究 http://www.ai2news.com/blog/17753/
• Fudan DISC原创｜遮罩注意力网络：对Transformer的再思考与改进 http://www.ai2news.com/blog/31647/
• NeurIPS 2021 Transformer部署难？北大&华为诺亚提出Vision Transformer的后训练量化方法 http://www.ai2news.com/blog/15700/
• 【膨胀卷积 Transformer】ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias http://www.ai2news.com/blog/33655/
• 更深、更轻量级的Transformer！Facebook提出：DeLighT http://www.ai2news.com/blog/21208/
• 时间序列模型总结/AR/CNN/RNN/Transformer http://www.ai2news.com/blog/16881/
• NeurIPS 2021 | 卷积可让视觉Transformer性能更强！训练更稳定！ http://www.ai2news.com/blog/16536/
• 预训练的卷积模型比Transformer更好？ http://www.ai2news.com/blog/31800/
• NeurIPS 2021 | TransformerFusion：基于Transformer的单目RGB场景重建 http://www.ai2news.com/blog/16538/
• MIXED TRANSFORMER U-NET FOR MEDICAL IMAGE SEGMENTATION[arXiv:2111.04734v2] http://www.ai2news.com/blog/31660/
• 初探Video Transformer（二）：谷歌开源更全面、高效的无卷积视频分类模型ViViT http://www.ai2news.com/blog/15713/
• 大模型高效释放生产性能，Hugging Face开源Transformer扩展优化新库 http://www.ai2news.com/blog/21770/
• 视觉Transformer | End-to-End Object Detection with Transformers http://www.ai2news.com/blog/15921/
• ResNet + Transformer 训练一个自己的王者荣耀 AI http://www.ai2news.com/blog/47315/
• Transformer系列笔记3：Vision Transformer架构论文阅读 http://www.ai2news.com/blog/19010/
• 2021机器学习研究风向是啥？MLP→CNN→Transformer→MLP！ http://www.ai2news.com/blog/31797/
• Transformer论文详解——想不懂都难 http://www.ai2news.com/blog/31804/
• ViT（Vision Transformer）解析 http://www.ai2news.com/blog/43732/
• 试图学习Transformer和BERT和ELMo和GPT-比较不同之处 http://www.ai2news.com/blog/31505/
• NeurIPS2021-没有残差连接的ViT准确率只有0.15%！！！北大&华为提出用于Vision Transformer的Augmented Shortcuts，涨点显著！ http://www.ai2news.com/blog/16864/
• Transformer 中的 positional embedding http://www.ai2news.com/blog/31854/
• ICLR2021-谷歌大脑团队Vision Transformer：AN IMAGE IS WORTH 16X16 WORDS http://www.ai2news.com/blog/39608/
• Vision-Language 多模态 Transformer读论文总结 http://www.ai2news.com/blog/39560/
• Transformer在量化投资的应用 http://www.ai2news.com/blog/32262/
• TransFG：首个基于Transformer的细粒度视觉识别网络 http://www.ai2news.com/blog/20611/
• arXiv每日更新-20220217（今日关键词：estimation, transformer, video) http://www.ai2news.com/blog/52967/
• ICCV2021-MIT-IBM AI Lab开源CrossViT，Transformer开始走向多分支、多尺度（附目前多尺度ViT的异同点对比） http://www.ai2news.com/blog/17016/
• AAAI 2021 | 基于图Transformer的多行为推荐算法 http://www.ai2news.com/blog/33563/
• 《Uformer A General U-Shaped Transformer for Image Restoration》论文笔记 http://www.ai2news.com/blog/51230/
• 华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022 http://www.ai2news.com/blog/53172/
• Transformer大白话详解 http://www.ai2news.com/blog/50538/
• 专访 Swin Transformer 作者胡瀚：面向计算机视觉中的「开放问题」 http://www.ai2news.com/blog/18199/
• NLP Transformer培训课程:MRC经典的Span Extraction模型Bi-DAF 算法架构、运行机制及数学原理 http://www.ai2news.com/blog/19490/
• 【轨迹 Transformer】Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers http://www.ai2news.com/blog/31878/
• 李沐等人提出UN-EPT：用于语义分割的统一高效金字塔Transformer http://www.ai2news.com/blog/17756/
• 何恺明视觉Transformer训练方法新作MAE解读 http://www.ai2news.com/blog/35604/
• 完全基于Transformer的目标检测器，ICLR匿名论文实现视觉、检测统一 http://www.ai2news.com/blog/52465/
• Transformer的终章还是新起点？颜水成团队新作：MetaFormer才是你真正需要的！ http://www.ai2news.com/blog/18383/
• 论文阅读笔记：Heterogeneous Graph Transformer (HGT) http://www.ai2news.com/blog/26037/
• ICLR2022 | UniNet: Unified Architecture Search with Convolution, Transformer, and MLP http://www.ai2news.com/blog/23467/
• 《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》论文笔记 http://www.ai2news.com/blog/39569/
• Transformer再蓄力，跟踪任务中创新高，桥接独立帧，跨帧传递时域信息，CVPR 2021 Oral http://www.ai2news.com/blog/21117/
• 【论文阅读】《An End-to-End Transformer Model for 3D Object Detection》 http://www.ai2news.com/blog/15755/
• 新注意力！Focal Transformer：ViT中局部-全局交互的Focal自注意力 http://www.ai2news.com/blog/17974/
• TreeGen: A Tree-Based Transformer Architecture for Code Generation http://www.ai2news.com/blog/26093/
• Non-local Network：人类早期在CV驯服Transformer尝试 | CVPR 2018 http://www.ai2news.com/blog/53227/
• 全新轻量级ViT！LVT：具有增强自注意力的Lite视觉Transformer http://www.ai2news.com/blog/16070/
• TransGAN：两个Transformer可以构造一个强大的GAN http://www.ai2news.com/blog/47316/
• CVPR 2021 | Transformer进军low-level视觉！北大华为等提出预训练模型IPT http://www.ai2news.com/blog/21071/
• [深度学习基础复习]Transformer的成功应用–BERT模型原理详解 http://www.ai2news.com/blog/31452/
• [个人整理] RACV2021观点集锦 视觉transformer 从主干encoder 到任务decoder: 现状与趋势 http://www.ai2news.com/blog/19059/
• 【夯实基础】Transformer http://www.ai2news.com/blog/28546/
• Transformer再下一城！HOTR：首个基于Transformer的端到端的人-物交互检测 http://www.ai2news.com/blog/18328/
• [CVPR 2021]Contextual Transformer Networks for Visual Recognition http://www.ai2news.com/blog/17442/
• This post is all you need（层层剥开Transformer） http://www.ai2news.com/blog/23920/
• attention 和 transformer http://www.ai2news.com/blog/39626/
• coco排行榜第一名Mask2Former刚刚开源，基于Transformer再度登顶 http://www.ai2news.com/blog/50738/
• 屠榜多目标跟踪！STGT：基于时空图Transformer的多目标跟踪 http://www.ai2news.com/blog/19605/
• 手把手教你Transformer http://www.ai2news.com/blog/19411/
• U-Net Transformer：用于医学图像分割的自注意力和交叉注意力 http://www.ai2news.com/blog/20796/
• 论文笔记 - Transformer http://www.ai2news.com/blog/48763/
• Trapper: Transformer模型都在此! http://www.ai2news.com/blog/20363/
• NLP培训课程第30章：使用disentangled attention机制Transformer模型DeBERTa架构内幕及完整源码实现 http://www.ai2news.com/blog/19308/
• MIT提出CrossViT：交叉注意力多尺度视觉Transformer http://www.ai2news.com/blog/19044/
• 中科大和微软提出Group-Free-3D：基于Transformer的3D目标检测 http://www.ai2news.com/blog/19606/
• CVPR 2021 | 卢湖川团队提出TransT：Transformer Tracking http://www.ai2news.com/blog/20300/
• Transformer在3D语义分割中的应用 http://www.ai2news.com/blog/46789/
• 中科院提出SimViT：探索带有滑动窗口的简单视觉Transformer http://www.ai2news.com/blog/15766/
• 何恺明MAE大火之后，想梳理下视觉Transformer？这篇综述帮你梳理了100多个 http://www.ai2news.com/blog/15858/
• 分享4篇Transformer论文，含Motion Completion、图像识别等下游任务 http://www.ai2news.com/blog/21288/
• 基于Transformer的机器翻译Demo代码详解 http://www.ai2news.com/blog/42756/
• NeurIPS2021《HRFormer》HRNet又出续作啦！国科大&北大&MSRA提出高分辨率Transformer，代码已开源！ http://www.ai2news.com/blog/16496/
• 重磅开源！Twins：更高效的视觉Transformer主干网，完美适配下游检测、分割任务 http://www.ai2news.com/blog/18735/
• 让研究人员绞尽脑汁的Transformer位置编码 http://www.ai2news.com/blog/17397/
• ICCV 2021 Oral | Transformer再下一城！PoinTr：使用几何感知Transformer实现点云补全 http://www.ai2news.com/blog/17497/
• 查询非结构化数据库、克服Transformer模型局限性，Facebook提出神经数据库架构 http://www.ai2news.com/blog/21849/
• CVPR 2021 | 浙大提出GCT：高斯上下文Transformer http://www.ai2news.com/blog/18205/
• 对于Attention、Self-Attention、Transformer、BERT的学习与小结 http://www.ai2news.com/blog/31401/
• [论文阅读]CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification http://www.ai2news.com/blog/31868/
• [论文简介] 基于 Transformer 的知识库问答关系检测 http://www.ai2news.com/blog/20538/
• 视觉 Transformer 的可视化｜CVPR2021 http://www.ai2news.com/blog/21059/
• Vision Transformer 在目标检测上的探索，DETR 系列文章解读（一） http://www.ai2news.com/blog/31770/
• 【双模型 mask 自监督】MST: Masked Self-Supervised Transformer for Visual Representation http://www.ai2news.com/blog/15955/
• 经逆向工程，Transformer「翻译」成数学框架 | 25位学者撰文 http://www.ai2news.com/blog/20751/
• ​南开&阿里提出P2T：基于金字塔池化的视觉Transformer！可用于各类下游场景理解任务！ http://www.ai2news.com/blog/18015/
• 【蒸馏自监督 Transformer】Emerging Properties in Self-Supervised Vision Transformers http://www.ai2news.com/blog/15975/
• 超神！全能视觉Transformer：PolyViT！协同多模态图像、视频、音频SOTA！谷歌、剑桥大学、图灵研究院出品！ http://www.ai2news.com/blog/19175/
• RelationNet++：基于Transformer融合多种检测目标的表示方式 | NeurIPS 2020 http://www.ai2news.com/blog/53096/
• 我现在想要的，即是我现在在看的——Behavior Sequence Transformer(BST) http://www.ai2news.com/blog/36936/
• 京东AI开源CoTNet：用于视觉识别的上下文Transformer网络 http://www.ai2news.com/blog/17715/
• Long Short-Term Transformer for Online Action Detection http://www.ai2news.com/blog/47230/
• 又简单又好用的Transformer变体！清华&MSRA开源线性复杂度的Fastformer！ http://www.ai2news.com/blog/17349/
• Transformer 从背景知识到CV应用（台大李宏毅学习笔记+全网资料个人梳理） http://www.ai2news.com/blog/42679/
• 对视觉任务更友好的Transformer，北航团队开源Visformer！ http://www.ai2news.com/blog/17208/
• TransReID：首个基于Transformer的目标Re-ID http://www.ai2news.com/blog/21260/
• 【筛选每层 token】AdaViT: Adaptive Tokens for Efficient Vision Transformer http://www.ai2news.com/blog/15224/
• 网络架构设计：CNN based和Transformer based http://www.ai2news.com/blog/35606/
• Transformer学习(三)—Vision Transformer(VIT) http://www.ai2news.com/blog/28665/
• 【层间 Attention - 地理定位匹配】Cross-view Geo-localization with Layer-to-Layer Transformer http://www.ai2news.com/blog/31724/
• 浙大&腾讯开源CrossFormer：基于跨尺度注意力的多功能视觉Transformer http://www.ai2news.com/blog/17719/
• Transformer 在美团搜索排序中的实践 http://www.ai2news.com/blog/16966/
• 如何仅用一台小型服务器快速预训练Vision Transformer？ http://www.ai2news.com/blog/17769/
• AI自动评审论文，CMU这个工具可行吗？我们用它评审了下Transformer论文 http://www.ai2news.com/blog/24209/
• 没有卷积！CPTR：用于图像描述的全Transformer网络 http://www.ai2news.com/blog/19077/
• [ACM MM 2021] Transformer再下一城! 首个基于Transformer的端到端视频目标检测网络 http://www.ai2news.com/blog/16476/
• 视觉架构大一统！港中文通过统一视角Container对Transformer、 深度卷积以及MLP-Mixer进行了大一统 http://www.ai2news.com/blog/18121/
• 图解Transformer（完整版） http://www.ai2news.com/blog/19307/
• 深入分析transformer（完结） http://www.ai2news.com/blog/31511/
• ICCV2021何恺明团队又一神作：Transformer仍有继续改善的空间 http://www.ai2news.com/blog/42950/
• 阿里提出CDTrans：用于无监督域自适应的跨域Transformer http://www.ai2news.com/blog/17035/
• Transformer在计算机视觉中 http://www.ai2news.com/blog/31279/
• Transformer源代码解释之PyTorch篇 http://www.ai2news.com/blog/20298/
• 机器学习与深度学习面试系列十九（Transformer） http://www.ai2news.com/blog/47718/
• 初探Video Transformer（一）：抛弃CNN的纯Transformer视频理解框架—TimeSformer http://www.ai2news.com/blog/18037/
• [ICCV 2021 Oral] Paint Transformer - 基于笔触预测的快速油画渲染算法 http://www.ai2news.com/blog/16521/
• arXiv每日更新-20220224（今日关键词：detection, transformer, classification http://www.ai2news.com/blog/53318/
• 读透Behavior Sequence Transformer for E-commerce Recommendation in Alibaba http://www.ai2news.com/blog/19795/
• 【论文极速读】MoCo v3: MoCo机制下Transformer模型的训练不稳定现象 http://www.ai2news.com/blog/33328/
• 为何Transformer在计算机视觉中如此受欢迎？ http://www.ai2news.com/blog/31281/
• Swin Transformer算法环境配置（语义分割） http://www.ai2news.com/blog/43740/
• 【精华】BERT，Transformer，Attention（上） http://www.ai2news.com/blog/31600/
• What？UFO！ | UFO-ViT用X-Norm让你的Transformer模型回归线性复杂度 http://www.ai2news.com/blog/16947/
• Transformer一脚踹进医学图像分割！看5篇MICCAI 2021有感 http://www.ai2news.com/blog/16750/
• 详细解读 Transformer的即插即用模块 | MoE插件让ViT模型更宽、更快、精度更高 http://www.ai2news.com/blog/18770/
• 计算机视觉中的transformer模型创新思路总结 http://www.ai2news.com/blog/6193/
• arXiv每日更新-20220127（今日关键词：transformer, segmentation, classification) http://www.ai2news.com/blog/51952/
• 最快视觉Transformer！Facebook提出LeViT：快速推理的视觉Transformer http://www.ai2news.com/blog/18703/
• 仅使用 2040 张图像训练视觉Transformer！南大新作IDMM：小数据集也能训的好！ http://www.ai2news.com/blog/52131/
• 推荐系统精排之锋（14）：Transformer的升维打击 http://www.ai2news.com/blog/19877/
• 超越StyleGAN！TransGAN更新！用纯Transformer构建高分辨率GAN http://www.ai2news.com/blog/18967/
• 解读：Informer——比Transformer更有效的长时间序列预测方法 http://www.ai2news.com/blog/52813/
• Arxiv | 3D Detection | M3DETR | Transformer http://www.ai2news.com/blog/21335/
• MobileViT: 一种更小，更快，更高精度的轻量级Transformer端侧网络架构（附代码实现） http://www.ai2news.com/blog/42078/
• Transformer 的稳健性更好吗？ http://www.ai2news.com/blog/38697/
• Transformer是什么？看完这篇你就醍醐灌顶 http://www.ai2news.com/blog/6654/
• Transformer 从零开始（二） http://www.ai2news.com/blog/43471/
• Hinton再挖新坑：改进胶囊网络，融合Transformer神经场等研究 http://www.ai2news.com/blog/24643/
• This post is all you need（基于Transformer的对联生成模型） http://www.ai2news.com/blog/23926/
• Transformer代码完全解读！ http://www.ai2news.com/blog/18024/
• Swin transformer http://www.ai2news.com/blog/23559/
• 傅里叶变换取代Transformer自注意力层，谷歌这项研究GPU上快7倍、TPU上快2倍 http://www.ai2news.com/blog/31628/
• 全面超越 Swin Transformer | Facebook用ResNet思想升级MViT http://www.ai2news.com/blog/16361/
• 90.45% 准确率！谷歌大脑提出：缩放视觉Transformer http://www.ai2news.com/blog/18375/
• Transformer代码及解析(Pytorch) http://www.ai2news.com/blog/42685/
• 有意思！域适应目标检测算法SFA！提升Detection Transformer的跨域性能！ http://www.ai2news.com/blog/19336/
• 带你轻松理解 Transformer(下) http://www.ai2news.com/blog/12532/
• 基于视觉的在线地图：一种Transformer网络方法 http://www.ai2news.com/blog/19055/
• AAAI21最佳论文Runners Up！Transformer的归因探索！ http://www.ai2news.com/blog/21013/
• 从RNN到“只要注意力”——Transformer模型 http://www.ai2news.com/blog/17811/
• 视觉Transformer需要包含卷积设计吗？[炼丹炉番外篇-3] http://www.ai2news.com/blog/17935/
• Vision Transformer 超详细解读 (原理分析+代码解读) (五) http://www.ai2news.com/blog/18433/
• Transformer各层网络结构详解！面试必备！(附代码实现) http://www.ai2news.com/blog/10215/
• Transformer in CV–Detr http://www.ai2news.com/blog/43651/
• Transformer在训练、评估时编码器，解码器分别如何工作的？ http://www.ai2news.com/blog/21670/
• Swin Transformer: 用CNN的方式打败CNN http://www.ai2news.com/blog/42655/
• 超强！MDETR：基于Transformer的端到端调制目标检测神器！Facebook开源 http://www.ai2news.com/blog/19515/
• 当Transformer又遇见U-Net！Transformer-Unet：医学图像分割新工作 http://www.ai2news.com/blog/17647/
• 高效！Anchor DETR：旷视孙剑团队提出一种基于Transformer的目标检测神器！ http://www.ai2news.com/blog/19333/
• PVT：可用于密集任务backbone的金字塔视觉transformer http://www.ai2news.com/blog/15965/
• 《TPT》-中科院提出用于VideoQA的跨模态交互时间金字塔Transformer http://www.ai2news.com/blog/16984/
• 我寻思Transformer也没有那么难［究极缝合怪版］- Attention is All You Need http://www.ai2news.com/blog/39618/
• Transformer 简介 http://www.ai2news.com/blog/43749/
• Informer：用于长序列时间序列预测的新型Transformer http://www.ai2news.com/blog/43474/
• 【HRFormer】HRFormer: High-Resolution Transformer for Dense Prediction http://www.ai2news.com/blog/16173/
• [点云特征提取]PCT: Point Cloud Transformer论文阅读 http://www.ai2news.com/blog/19150/
• ∞-former！最新变体Transformer！DeepMind 出品！ http://www.ai2news.com/blog/19430/
• Transformer靠什么得以闯入CV界秒杀CNN？ http://www.ai2news.com/blog/18995/
• T5: the Text-To-Text Transfer Transformer - transformers API使用方法(源码解析) http://www.ai2news.com/blog/50960/
• AI都会写灵魂Rap了？Transformer跨界说唱，节奏、流畅度都不在话下 http://www.ai2news.com/blog/22826/
• Transformer实现Video Instance Segmentation http://www.ai2news.com/blog/17909/
• So-ViT：视觉Transformer的Mind Visual Tokens http://www.ai2news.com/blog/18941/
• CVPR 2021 比CNN和Transformer更好的Backbone？伯克利&谷歌提出BoTNet，精度达84.7% http://www.ai2news.com/blog/17012/
• 如何利用Transformer建立时间序列预测模型 http://www.ai2news.com/blog/17311/
• Transformer杀疯了！竟在图神经网络的ImageNet大赛中夺冠，力压DeepMind、百度… http://www.ai2news.com/blog/44821/
• 微调Transformer的高级技法 http://www.ai2news.com/blog/43727/
• 浅析Transformer训练时并行问题 http://www.ai2news.com/blog/31643/
• ViT-V-Net：无监督Volumetric医学图像配准的视觉Transformer http://www.ai2news.com/blog/19043/
• A Survey of Transformer 一篇Transformer综述（上） http://www.ai2news.com/blog/12555/
• 【图像数据处理相关技术】视觉Transformer（ViT）学习笔记 http://www.ai2news.com/blog/43641/
• Transformer 一篇就够了（三）： Transformer的实现 http://www.ai2news.com/blog/31574/
• 科研人再也不担心有机物命名不规范了：基于Transformer的开源工具自动起名 http://www.ai2news.com/blog/21876/
• NeurIPS 2021 SOFT: Softmax-free Transformer with Linear Complexity http://www.ai2news.com/blog/42674/
• Attention is all you need（Transformer） http://www.ai2news.com/blog/32224/
• Visualizer！简化你的Vision Transformer可视化！ http://www.ai2news.com/blog/31919/
• 【Deformable Attention】Vision Transformer with Deformable Attention http://www.ai2news.com/blog/15223/
• 华为诺亚提出CMT：卷积神经网络遇见视觉Transformer http://www.ai2news.com/blog/17915/
• 当Swin Transformer遇上DCN，清华可变形注意力Transformer模型优于多数ViT http://www.ai2news.com/blog/52379/