0
点赞
收藏
分享

微信扫一扫

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展


首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展

首都医科大学附属北京天坛医院(以下简称:天坛医院)放射科刘亚欧教授团队联合北京理工大学张美慧教授、叶初阳教授团队合作推出了全球首个专为医学影像诊断而设计和构建的人工智能大语言模型(LLM) 龙影大模型(RadGPT) ,基于该模型而生的全球首个中文数字放射科医生被研发团队亲切地成为**“小君”**。

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展_语言模型

龙影大模型的核心功能为通过分析MRI图像的描述,快速生成诊断意见,即**“图像描述—诊断结论”,现已能够生成超过百种的疾病诊断。“小君”的诊断表现经天坛医院放射科数十余名专家在近千例病例的验证,其准确率超过95%** 。

官方应用案例:

登录 龙影小程序–>上传影像描述(目前只支持MRI报告)–> 获得诊断意见

<

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展_人工智能_02

,

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展_医学影像_03

>

目前“小君”医生可以实现针对脑血管病以及脑部、颈部和胸部等十几个部位的肿瘤、感染类疾病等上百种疾病给出诊断意见,经过近千例病例验证,准确率超过95%。

“通过对MRI图像的描述快速生成诊断意见只是‘小君’初步掌握的技能,下一步我们要继续训练‘小君’掌握对CT和X线影像的报告解析和诊断,并且进一步通过图像生成影像诊断,通过不断学习和迭代,让‘小君’成为一名真正的放射科医生。”刘亚欧说。

以上是官方的宣传,泛化性能到底怎么样?Tina姐立马拿了手上的一份报告考考它。

手上的这份报告如下👇

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展_语言模型_04

用手机拍的电脑屏幕,字迹不是很清晰

登录龙影GPT小程序

用图像识别功能把图片中的”影像学表现“喂给它,但是使用图像识别文字功能有很多错别字,不准确。于是我又复制了文字给它。得到如下诊断结果

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展_语言模型_05

再与我们医院的诊断结果进行对比,发现除了子宫的诊断不一样(报告上为子宫肌瘤,模型为子宫腺肌症),其余都和我们报告上的结果一样!

首个中文数字放射科医生问世:天坛医院与北京理工大学联合打造的医学影像大模型取得突破性进展_语言模型_06

RadGPT技术细节

  • 高质量“描述-诊断”数据集: 针对中文医疗领域内相关研究缺乏高质量临床真实数据的问题,本团队收集北京天坛医院近十余年的高质量放射科影像报告数据,进行脱敏处理后,提取出关键的“描述 -诊断建议”文本对两百多万例
  • 基底模型与高效微调:本团队基于中文自然语言处理的大语言模型,有针对性地采用多种大模型微调方法,在保护医疗数据隐私性的同时,高效地提升了模型在垂直领域内特定下游任务上的性能表现。
  • 诊断建议生成评估体系:本团队在深度理解中文影像报告撰写规范的基础上,提出了一套完整的中文影像诊断建议生成质量评估体系,从传统指标、专家评估等多个维度对模型的生成结果进行评测与优化。

龙影大模型RadAI主页:https://radai2024.github.io/


举报
0 条评论