HyperTransformer: A Textural and Spectral Feature Fusion Transformer for Pansharpening

HyperTransformer:用于全色锐化的纹理和光谱特征融合Transformer

摘要

本文提出了一种新的全色锐化注意机制，称为HyperTransformer，它将LR-HSI和PAN的特征分别表示为Transformer中的查询和关键字。HyperTransformer由三个主要模块组成，即两个独立的PAN和HSI特征提取器、一个多头特征软注意模块和一个空间-光谱特征融合模块。这样的网络通过学习PAN和LR-HSI的交叉特征空间相关性和长程细节，改善了全色锐化HSI的空间和光谱质量度量。此外，可以在主干上跨多个空间尺度使用HyperTransformer，以获得更高的性能。

传统的全色锐化方法的两种融合方式：