背景
目前很多机构推出了ChatGPT等AI文本检测工具,但是准确率主打一个模棱两可,基本和抛硬币没啥区别。
先说结论,我们对比了常见的几款AI检测工具,copyleaks检测相比较而言最准确。
检测文本
AI文本片段1
提问词:Redis有什么作用?
AI文本片段2
提问词:用鲁迅的口吻写一段天气预报
AI文本片段3
提问词:吵架没发挥好怎么办
AI文本片段4
提示词:用鲁迅的口吻写一段无糖饮料推荐语
人类文本片段1
人类文本片段2
检测结果
copyleaks | zerogpt | gptzero | |
文本1-GPT | AI 99.9% | AI | AI+人类 AI占69% |
文本2-GPT | 人类 99.9% | AI | AI+人类 AI占17% |
文本3-文心一言 | AI 99.9% | AI | AI+人类 AI占25% |
文本4-文心一言 | 人类 99.9% | 人类 | AI+人类 AI占27% |
人类文本1 | 人类 99.9% | AI | AI+人类 AI占13% |
人类文本2 | 人类 97.1% | AI | AI+人类 AI占14% |
总结就是:
copyleaks 在常规风格下检测结果十分准确,但是在处理特殊口吻AI文本中几乎不具备检测能力;
zerogpt 检测结果基本无法作为参考依据,错误率很高;
gptzero 主打一个模棱两可,也是基本属于不可用的程度。
结果截图记录