文章目录
5、 有监督微调
5.1、提示学习&语境学习
提示学习
完成预测的三个阶段：提示添加、答案搜索、答案映射
提示学习方法易于理解且效果显著，提示工程、答案工程、多提示学习方法、基于提示的训练策略等已经成为从提示学习衍生出的新的研究方向。
语境学习
关键思想是从类比中学习，整个过程并不需要对模型进行参数更新，仅执行向前的推理。
向模型输入特定任务的一些具体例子以及测试样例，让模型根据示例续写出测试样例的答案。
如下情感分类，续写情感极性：
5.2、高效微调
高效微调：在缩减训练参数量和GPU显存占用，同时使训练后的模型具有与全量微调相当的性能。
LoRA（ Low-Rank Adaptation of Large Language Models）
计算流程
h = W 0 x + Δ W x = W 0 x + B A x h = W_0x + \Delta Wx = W_0x + BAx h=W0x+ΔWx=W0x+BAx
矩阵 A 通过高斯函数初始化，矩阵 B 为零初始化，使得训练开始之前旁路对原模型不造成影响，即参数改变量为 0。
将原权重与训练后权重合并后， 推理时不存在额外的开销。
其它高效微调方式
- 微调适配器（
Adapter）
分别对 Transformer 层中的自注意力模块与多层感知（MLP）模块，在其与其之后的残差连接之间添加适配器层（Adapter layer）作为可训练参数。
该方法及其变体会增加网络的深度，从而在模型推理时带来额外的时间开销。
- 前缀微调（
Prefix Tuning）
前缀微调是指在输入序列前缀添加连续可微的软提示作为可训练参数。由于模型可接受的最大输入长度有限，随着软提示的参数量增多，实际输入序列的最大长度也会相应减小，影响模型性能。
5.3、模型上下文窗口扩展
- 具有外推能力的位置编码
ALiBi
相对位置编码
注意力加上线性偏置
S o f t m a x ( q i K T + m ⋅ [ − ( i − 1 ) , . . . , − 2 , − 1 , 0 ] ) Softmax(q_iK^T+m·[-(i-1),...,-2,-1,0]) Softmax(qiKT+m⋅[−(i−1),...,−2,−1,0])
- 插值法
RoPE位置插值：
f ’ ( x , m ) = f ( x , m L ′ ) L f’(x,m) = f(x,\frac{m}{L'})L f’(x,m)=f(x,L′m)L
将更大的位置索引范围 [0,L′) 缩减至原始的索引范围 [0,L)
5.4、指令数据构建
指令数据的质量和多样性是衡量指令数据的重要维度，影响有监督微调过程的关键因素。
指令数据示例：
- 手动构建
- 自动生成指令
Self-instruct
其数据生成过程是一个迭代引导算法。
LLaMA 模型上进行有监督微调得到 Alpaca 模型， 所使用的指令数据集的示例
5.5、开源指令数据集
开源数据指令集
