全球首个！清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型，登 Nature 子刊
内容提要
研究团队成功构建了全球首个面向糖尿病诊疗的视觉-大语言模型集成系统DeepDR-LLM，融合了大语言模型和基于眼底图像的深度学习技术，为基层医生提供个性化的糖尿病管理意见及糖尿病视网膜病变辅助诊断结果。该系统在提高基层糖尿病管理和DR筛查水平方面具有潜力，为糖尿病智能治理提供了数字解决方案。
延伸解读
DeepDR-LLM 的整合创新与验证规模
与以往仅聚焦糖尿病并发症筛查或辅助管理单一领域的方案不同，DeepDR-LLM 首次将大语言模型与眼底图像深度学习整合，同时提供个性化管理建议和 DR 辅助诊断。该系统在覆盖亚非欧 3 大区域、7 个国家的多中心队列中完成回顾性验证，并针对中国基层医疗场景开展前瞻性真实世界研究，纳入 769 名患者，为多模态大模型在糖尿病垂直领域的应用提供了高质量循证证据。
技术架构：适配器与低秩自适应的协同优化
为突破低算力资源约束下的多模态大模型优化瓶颈，研究团队创新性地融合适配器（Adaptor）和低秩自适应（LoRA）技术，构建了可适配 LLaMA 等大语言模型的 DeepDR-LLM。该设计将训练网络层与大语言模型的固有权重参数相融合，避免全参数微调的低效问题。同时，DeepDR-Transformer 模块基于超 50 万张眼底图像训练，实现图像质量评估、病变分割和 DR 分级诊断，为系统提供精准的视觉分析能力。
临床效果：管理建议质量与筛查效率双提升
国际多学科专家委员会的盲法评分显示，DeepDR-LLM 生成的中文管理建议在无适当内容、无缺失内容和低危害可能性方面均优于基层医生（PCP），总评分显著高于 PCP（P=0.010），与内分泌科住院医生相当。在 DR 筛查中，DeepDR-Transformer 辅助使 PCP 的敏感性从 37.2%-81.6% 提升至 78.0%-98.4%，特异性从 84.4%-94.8% 提升至 90.4%-98.8%，每只眼评估中位时间从 14.66 秒缩短至 11.31 秒，诊断能力达到专业眼科医生水平。
应用前景与真实世界影响
前瞻性真实世界研究证明，将 DeepDR-LLM 纳入糖尿病诊疗流程后，可显著改善新发糖尿病患者的自我管理行为，并提高 DR 患者的转诊依从性。该系统有望大幅改善中低收入国家的基层糖尿病管理和 DR 筛查水平，为全球糖尿病管理提供革命性的数字解决方案。作为此前 DeepDR、DeepDR Plus 等成果的集大成者，DeepDR-LLM 为基层糖尿病管理的未来变革提供了高质量循证依据。
Q&A
DeepDR-LLM系统的主要功能是什么？
DeepDR-LLM系统融合了大语言模型和基于眼底图像的深度学习技术，为基层医生提供个性化的糖尿病管理意见及糖尿病视网膜病变辅助诊断结果。
糖尿病视网膜病变(DR)的影响有多大？
糖尿病视网膜病变影响30-40%的糖尿病患者，是糖尿病最常见的眼部并发症，且其存在预示着其他并发症风险的增加。
DeepDR-LLM系统如何改善糖尿病管理？
DeepDR-LLM系统显著改善新发糖尿病患者的自我管理行为，提高DR患者的转诊依从性，从而提升基层糖尿病管理水平。
DeepDR-LLM系统的验证过程是怎样的？
该系统在覆盖亚非欧3大区域、7个国家的多中心队列中进行了回顾性验证，并通过前瞻性真实世界研究验证其有效性。
DeepDR-LLM系统的创新点是什么？
研究创新性地提出融合适配器和低秩自适应技术，构建多模态大模型，提升了模型的适应性和效率。
DeepDR-LLM系统在DR分级的准确性如何？
DeepDR-LLM系统在DR分级的准确性和效率方面显著提升，甚至能达到专业眼科医生的水平。
