原因:
预测过程没有引入mask
现象:
在文本左侧加PAD预测正常;
解决办法:
在预测阶段将mask输入bert
其他:BERT模型在批量训练和预测阶段都需要mask,单条预测不引入mask不会引起错误,批量预测不引入mask会在有效toekn和pad之间造成预测问题。
微信扫一扫
原因:
预测过程没有引入mask
现象:
在文本左侧加PAD预测正常;
解决办法:
在预测阶段将mask输入bert
其他:BERT模型在批量训练和预测阶段都需要mask,单条预测不引入mask不会引起错误,批量预测不引入mask会在有效toekn和pad之间造成预测问题。
相关推荐