WAVE SUMMIT+2023回顾,复旦大学基于文心大模型辅助医学教育与研究
内容提要
在2023 WAVE SUMMIT+深度学习开发者大会上,复旦大学的王烁研究员介绍了医学影像智能分析和心血管力学建模的最新进展,并展示了一款耳畸形医学教育及科普插件Fdear。Fdear可以通过拍照上传新生儿耳朵图片,进行耳畸形鉴别,并提供相关科普问答。该插件是由大样本的耳朵图片资料和专家诊断意见整合而成的数据集训练而成的。此合作有望推动人工智能与医疗健康的深度融合,提供更精准、高效的医疗服务。
延伸解读
Fdear如何降低大模型“幻觉”风险
通用大模型在医学领域易产生“幻觉”,输出不准确信息。Fdear的辅助诊断模型并非直接使用通用大模型,而是基于大样本耳朵图片和专家诊断意见构建的数据集训练而成。合作团队在耳畸形领域有近20年经验,并发布了公开数据集,这为模型提供了专业、可靠的知识基础,从而在耳畸形鉴别和科普问答中减少错误回答。
隐私保护下的医学AI训练路径
医学数据涉及患者隐私,Fdear在研发过程中对样本信息(包括图片和科普问答文献)进行了严格保护,规避了患者隐私风险。这表明,在利用医疗大数据训练AI模型时,可以通过数据脱敏和合规处理,在保护隐私的前提下实现模型开发。这一做法为其他医疗AI项目提供了可参考的隐私保护思路。
从辅助自查到教学科普的扩展潜力
Fdear不仅能为家长提供新生儿耳畸形的初步鉴别和治疗注意事项,还可作为卫生课教学工具和儿童保健科普工具。这种多场景适用性意味着该插件有望在专业医疗资源之外,帮助提升基层医生、家长乃至公众对耳畸形的认知,从而促进早发现、早治疗,减少因发现晚而错过最佳治疗窗口的情况。
Q&A
Fdear插件是什么?它有什么功能?
Fdear是复旦大学王烁研究员与傅窈窈医生联合研发的耳畸形医学教育及科普插件。用户可通过手机拍照上传新生儿耳朵图片,获得耳畸形鉴别结果(判断是否存在畸形及初步分类),并得到基于大模型的互动式问答科普,以及治疗期、手术期的注意事项。
先天性耳廓畸形的发病率有多高?为什么要早诊断早治疗?
先天性耳廓畸形是头面部最常见的出生缺陷,发病率约15-20%。应早诊断、早治疗,因为很多患儿由于发现晚错过了耳模矫形的最佳治疗时间窗,早期识别和转诊依赖有丰富耳整形经验的专科医生。
Fdear如何避免大模型在医学领域的“幻觉”问题?
Fdear背后的辅助诊断模型是由大样本的耳朵图片资料和专家诊断意见整合而成的数据集训练而成的,而非依赖通用大模型的公开数据。合作方张天宇教授团队在耳畸形基础与临床研究有近20年经验,并牵头制定耳畸形国际与国内共识,确保了数据的专业性和准确性。
Fdear插件在研发中如何保护患者隐私?
在插件研发过程中,样本信息在模型训练(无论是图片还是科普问答文献)都已经得到了严格保护,规避了患者隐私风险。
复旦大学与百度在AI医疗领域有哪些合作?
复旦大学数字医学研究中心与百度合作,王烁研究员在百度CCF松果基金支持下进行基于百度飞桨的大规模人群心脏数字孪生研究,并基于文心一言大模型底座和复旦附属五官科医院的大数据联合研发了Fdear插件。双方期望通过合作推动AI在医疗诊断领域的应用,提供更精准、高效的医疗服务。
Fdear插件未来可以应用在哪些场景?
Fdear插件不仅为需要初步自查的用户提供便利,将来还可以作为卫生课的教学工具、儿童保健的科普工具等。