论文时间：2021.12
相比于CNN，transformer在机器翻译，目标检测，语义分割等多个任务表现出了强大的学习能力。因此，在这项工作中，我们提出了一种用于联合 MRI 重建和超分辨率的端到端task Transformer网络（T2Net）。T2Net允许在多个任务之间共享特征表示，以实现从高度欠采样和退化的MRI数据中恢复出更高质量，更高分辨率以及无伪影的图像。T2Net由重建和超分辨率两个分支组成，每个分出的特征表示为queries和keys
T2Net的结构由SR分支，Rec分支和H_tt（task transformer module）三个部分组成。
- SR 分支：SR分支主要用于扩大图像的分辨率并且保证图像的清晰度。正如图1所示，SR分支由一个卷积层和多个H_SR模块构成。
- Rec分支：Rec分支主要恢复出全采样图像。Rec分支主要由一个卷积层和多个H_rec模块构成。
- H_tt：task transformer module，目的在于利用Rec分支指导SR分支生成更加清晰，无伪影的图像。
其中Q为SR分支中H_SR输出特征，K为Rec分支中H_rec输出特征，V为Rec分支中H_rec输出特征上采样再下采样的特征。上采样再下采样的目的在于使得Q和V域一致。在H_tt中，首先，计算Q跟K的相关性编码T。其次，利用transfer attention将Rec中的结构信息迁移至SR分支的特征中得到特征C。最后，将C和Q堆叠一起，并采用soft attention模块使得输出结构更加关注结构信息。
想法：transformer自注意力中，kq保持原来不变，v采取上采样再下采样的操作。
