0
点赞
收藏
分享

微信扫一扫

NER问题的验证集,不一定能反映召回率


如果 验证集(dev集)从整体数据集 以一定比例 拆分出来的话,

这时,比如两个数据集的整体数据标注情况是

数据集A:同一句话 人工标注 抽取 三个实体
VS
数据集B:同一句话 人工标注 抽取 两个实体

如果同一个BERT-CRF的NER模型在这两个数据集训练的dev集 准确率 召回率为:

模型A:准确率100% 召回率100%
VS
模型B:准确率100% 召回率100%

那么只能说明

两个数据集训练得到的A、B两个模型 抽取时

同一句话 模型A 准确抽取出了 三个实体
VS
同一句话 模型B 准确抽取出了 两个实体


举报

相关推荐

0 条评论