目录标题

• 1 解释说明
• • 1.1 预训练阶段
  • 1.2 微调阶段
• 2 几种微调算法
• • 2.1 在线微调
  • 2.2 高效微调
  • • 2.2.1 RLHF
    • 2.2.2 LoRA
    • 2.2.3 Prefix Tuning
    • 2.2.4 Prompt Tuning
    • 2.2.5 P-Tuning v2

1 解释说明

• 预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。此外，预训练语言模型的成功也开创了NLP研究的新范式，即首先使用大量无监督语料进行语言模型预训练（Pre-training），