摘要
为解决生成多样性低的问题
思想
找到正向和负向group的context和response,设计loss
做法
首先有
其中pn是baseline模型,pm是target模型
其中c是输入文本 r是回复文本,
构造loss:
最大化正向回复,最小化负向回复
这个loss即刻画 相对baseline模型的生成多样性 或 分布distinctiveness
正向回复和负向回复的采样,使用了BM25+匹配模型
微信扫一扫
为解决生成多样性低的问题
找到正向和负向group的context和response,设计loss
首先有
其中pn是baseline模型,pm是target模型
其中c是输入文本 r是回复文本,
构造loss:
最大化正向回复,最小化负向回复
这个loss即刻画 相对baseline模型的生成多样性 或 分布distinctiveness
正向回复和负向回复的采样,使用了BM25+匹配模型
相关推荐