0
点赞
收藏
分享

微信扫一扫

Vit,DeiT,DeepViT,CaiT,CPVT,CVT,CeiT简介

caoxingyu 2022-03-12 阅读 107

Vit:

       最基础的,就是将transformer的encoder取出来。

输入图像大小维度(B,C,H,W),将图片不重叠地划分为H/patch_height * w/patch_weight个patch,每个patch为patch_height * patch_weight * c。

之后,concat用于分类的cls token,维度+1,同时加入可学习的绝对位置编码,送入transformer的主体。

       之后就与tansformer的计算相同,这里不多做赘述。

如果要加入mask屏蔽,应该在未softmax前的attention weights进行屏蔽。

最终送入分类头时,可以选择对所有patch求均值或只送入cls token。

Deit

       DeiT是在ViT的基础上,多加入了一个distill token用于蒸馏学习。

       这篇论文提出了两个蒸馏方法:

软蒸馏:

λ,τ是超参数,y 是ground truth,ψ是softmax函数,Zs和Zt分别是学生模型、教师模型的输出, LCE是交叉熵损失,K L是KL散度。

KL散度也就是相对熵,也是用来计算两个概率分布的一种差异

硬蒸馏:

       也就是计算学生的输出分别于与真实标签,yt教师输出做损失。

DeepViT

      主要在于VIT深层,自我注意机制无法学习到有效的表征学习概念,阻碍了模型获得预期的性能增益。也就是出现了注意力坍塌的问题。

       基于这一观察,为了解决注意力崩溃的问题,并有效地将视觉转换扩展到更深的层面,提出了一种简单而有效的自我注意机制再注意(re-attention)用于ViTs中。

定义了一个端到端可学习的变换矩阵,变换矩阵沿着头部维度乘以自注意力映射图,将多头注意力映射图混合到重新生成的新的注意力映射图中,并且Norm取得是BatchNorm而不是传统的LayerNorm,然后与Value相乘。实现时,变换矩阵是一个(heads,head,1,1)的二维卷积。

Cait:

       b)(c)中的 α 是一个实数,即,FFNSA的输出特征都统一乘以α;而图(d)中,FFNSA输出特征的不同channel乘上不同的数值,在一定程度上会使得特征更细化,更精准。

       该作者认为,既然用于分类的cls token只是为了获得图片的全部信息,那么完全不必在一开始就送入网络进行信息交互,只在最后两层transformer加入进行信息交互。

CPVT:

       这篇论文主要的侧重点在于,位置的编码。常见的position encoding方式包括绝对位置编码和相对位置编码等。

目前常用的一般是绝对位置编码,包括在Transformer中提出的sinusoidal编码方式,以及在GPTViT等中所使用的可训练的位置编码等。但是一般的绝对位置编码针对特定分辨率的任务,在训练时就会生成固定尺寸的编码,无法处理不同分辨率大小的图片,这极大地妨碍了Transformer地灵活性和更大的应用空间。常见的处理方式是在处理不同分辨率的图像时,对训练好的position encoding进行插值适用,但需要fine-tune来恢复,不然会造成较大的精度下降。

所以,该文提出了提出一种能够根据不同尺寸输入改变长度的position encoding 方式

首先对上一个transformer encoder的输出进行reshape,回退为2D的图像形式;

然后对该2D信息进行一个2D可分离卷积等来进行局部信息的提取;

最后对新生成的tensor重新reshape到序列化信息格式作为输出。

由于class token中不包含位置相关信息,因此将其隔离不参与PEG的操作。

CVT

       将卷积与transformer两种设计相互结合,寻求最佳组合方式,从而提高了视觉TransformerViT)的性能和效率。

CvT的整体流程如图所示。在ViT架构中引入了2种基于卷积的操作,即卷积Token嵌入和卷积映射。

卷积Token也就是,在VIT中使用linear实现patch_embeddingpos_embedding,而在这里使用卷积替代。并且每一个stage,都会进行卷积+LNtoken embedding。这允许每个阶段逐步减少Token的数量(即特征分辨率),同时增加Token的宽度(即特征维度),从而实现空间下采样和增加丰富度。

QKV的计算上使用深度可分离的卷积运算,称为卷积映射,分别用于查询、键和值的嵌入,而不是ViT中标准的位置线性映射。此外,分类Token只在最后阶段添加。

CeiT

      该论文同样,也是希望将CNNtransformer相结合。

       主要的创新点有三个:

       首先设计Image-to-Tokens模块来从low-level特征中得到embedding

       其次是Transformer中的Feed Forward模块替换为Locally-enhanced Feed-Forward(LeFF)模块,增加了相邻token之间的相关性。

       也就是在mlp中加了卷积来融合不同通道的特征。

       最后是本文最为突出的一个特点使用Layer-wise Class Token AttentionLCA)捕获多层的特征表示。也就是将前面所有stageclass token取出来,将所有的class token作相关与前馈,相互进行信息交互。

 

        

如有错误,欢迎大家批评指正!

举报

相关推荐

0 条评论