能耗在线监测系统在项目建设中的应用

Transformer论文复现：3.解码器部分（解码器层）和4.输出部分（线性层、softmax层）

• • 3.1 解码器介绍
  • 3.2 解码器层
  • • 3.2.1 解码器层的作用
    • 3.2.2 解码器层的代码实现
    • 3.2.3 解码器层总结¶
  • 3.3 解码器
  • • 3.3.1 解码器的作用
    • 3.3.2 解码器的代码实现
    • 3.3.3 解码器总结
  • 4.1 输出部分介绍
  • 4.2 线性层和softmax层的作用
  • 4.3 线性层和softmax层的代码实现

3.1 解码器介绍

解码器部分:

• 由N个解码器层堆叠而成
• 每个解码器层由三个子层连接结构组成
• 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接
• 第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接
• 第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接