【自然语言处理三-self attention自注意是什么】

文章目录

• 一. GPT-2和语言模型
• • 1.1. 什么是语言模型
  • 1.2 Transformer的语言模型
  • 1.3 和BERT的不同
  • 1.4 Transformer 组件的演变
  • • 1.4.1 encoder组件
    • 1.4.2 decoder组件
    • 1.4.3 只有decoder组件的decoder模块
  • 1.5 GPT-2内部结构
  • 1.6 GPT-2内部结构(更深入了解)