一、Transformer
1. 原理
Transformer 是一种专为序列建模和并行计算设计的神经网络，它抛弃了RNN的递归结构，完全依赖于自注意力机制（Self-Attention）来建模序列数据中的依赖关系。通过自注意力，Transformer能够对整个序列的所有位置进行全局的依赖建模，适用于处理长序列任务。
2. 核心公式和解释
3. 算法流程
- 输入序列经过词嵌入层。
- 加入位置编码以保留序列的位置信息。
- 通过若干层的自注意力和前馈神经网络（Feed-Forward Network），对序列进行编码。
- 如果是生成任务，则解码器通过注意力机制和前馈网络逐步生成输出序列。
- 最后，通过线性层和softmax计算生成或分类结果。
4. 优缺点
优点：
- 捕捉长距离依赖：自注意力机制能够有效处理长序列中的长距离依赖问题。
- 并行化：由于抛弃了递归结构，Transformer能够并行处理整个序列，大大提高了训练效率。
- 可扩展性强：Transformer在大规模数据上表现优异，适合在大数据集上进行预训练。
缺点：
- 计算复杂度高：自注意力机制的计算复杂度是 ，对于非常长的序列，计算代价较高。
- 不适合短序列：对于较短的序列任务，Transformer可能效率不如RNN。
5. 适用场景
- 自然语言处理：机器翻译（如BERT, GPT），文本生成，语义分析，问答系统等。
- 计算机视觉：如ViT（Vision Transformer）在图像分类、目标检测中的应用。
- 时序预测：Transformer也逐渐应用于时间序列预测等任务，尤其是在长序列场景中。
整体对比下来：
- RNN 依赖递归结构和隐藏状态，适合短期依赖任务，但难以捕捉长距离依赖，且训练速度较慢。
- Transformer 通过自注意力机制高效处理长序列任务，适合大规模并行计算，在自然语言处理和其他领域的长序列建模上表现出色。
两者在解决序列数据问题上的应用场景有所重叠，但目前来看，Transformer已逐渐取代RNN，成为主流序列建模方法。
