全球首个！清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型，登 Nature 子刊
内容提要
研究团队成功构建了全球首个面向糖尿病诊疗的视觉-大语言模型集成系统DeepDR-LLM，融合了大语言模型和基于眼底图像的深度学习技术，为基层医生提供个性化的糖尿病管理意见及糖尿病视网膜病变辅助诊断结果。该系统在提高基层糖尿病管理和DR筛查水平方面具有潜力，为糖尿病智能治理提供了数字解决方案。
关键要点
-
研究团队成功构建全球首个面向糖尿病诊疗的视觉-大语言模型集成系统DeepDR-LLM。
-
DeepDR-LLM融合了大语言模型和基于眼底图像的深度学习技术，为基层医生提供个性化糖尿病管理意见及辅助诊断结果。
-
糖尿病视网膜病变(DR)是糖尿病患者常见的眼部并发症，影响30-40%的患者。
-
定期DR筛查被推荐为初级糖尿病护理的关键部分，但在中低收入国家常被忽视。
-
DeepDR-LLM系统在多中心队列中进行了验证，提供了高质量循证证据，改善中低收入国家的糖尿病管理和DR筛查水平。
-
研究创新性地提出融合适配器和低秩自适应技术，构建多模态大模型。
-
DeepDR-Transformer模块针对50万张眼底图像进行训练，实现病变分割和DR分级诊断。
-
DeepDR-LLM系统显著改善新发糖尿病患者的自我管理行为，提高DR患者的转诊依从性。
-
研究团队通过国际多学科专家委员会对DeepDR-LLM系统的诊疗建议进行盲法评分，结果显示其质量达到或强于基层医生水平。
-
DeepDR-LLM系统在DR分级的准确性和效率方面显著提升，甚至能达到专业眼科医生水平。
-
研究团队将DeepDR-LLM系统应用于真实世界临床流程，开展前瞻性研究，证明其有效性。
-
DeepDR-LLM的诞生是之前研究成果的集大成者，为基层糖尿病管理的未来变革提供高质量循证依据。
延伸问答
DeepDR-LLM系统的主要功能是什么？
DeepDR-LLM系统融合了大语言模型和基于眼底图像的深度学习技术，为基层医生提供个性化的糖尿病管理意见及糖尿病视网膜病变辅助诊断结果。
糖尿病视网膜病变(DR)的影响有多大？
糖尿病视网膜病变影响30-40%的糖尿病患者，是糖尿病最常见的眼部并发症，且其存在预示着其他并发症风险的增加。
DeepDR-LLM系统如何改善糖尿病管理？
DeepDR-LLM系统显著改善新发糖尿病患者的自我管理行为，提高DR患者的转诊依从性，从而提升基层糖尿病管理水平。
DeepDR-LLM系统的验证过程是怎样的？
该系统在覆盖亚非欧3大区域、7个国家的多中心队列中进行了回顾性验证，并通过前瞻性真实世界研究验证其有效性。
DeepDR-LLM系统的创新点是什么？
研究创新性地提出融合适配器和低秩自适应技术，构建多模态大模型，提升了模型的适应性和效率。
DeepDR-LLM系统在DR分级的准确性如何？
DeepDR-LLM系统在DR分级的准确性和效率方面显著提升，甚至能达到专业眼科医生的水平。
