从计算机视觉向医疗AI，上海交大谢伟迪发布多项成果，登Nature子刊/NeurIPS/CVPR等
💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
近年来，AI for Science迅速发展，推动医疗和材料研究。上海交通大学谢伟迪教授专注于医学人工智能，分享团队在多模态医疗模型和开源数据集方面的成果，旨在辅助医生，提高医疗资源的普适性。
🎯
关键要点
- 近年来，AI for Science迅速发展，推动医疗和材料研究。
- 上海交通大学谢伟迪教授专注于医学人工智能，分享团队在多模态医疗模型和开源数据集方面的成果。
- 医疗人工智能已成为大势所趋，旨在推进医疗资源的普适化。
- 大语言模型在医疗领域存在局限性，无法完全替代医生。
- 团队的目标是构建多模态通用医疗模型，支持多种输入模态。
- 团队贡献了高质量的开源医疗数据集，涵盖文本和图像数据。
- PMC-LLaMA是团队推出的开源医疗大语言模型，后续将持续迭代升级。
- 团队构建了多个视觉-语言模型，并在医学影像领域取得了重要成果。
- 通过知识图谱将医学知识注入模型，提升模型性能。
- 谢伟迪教授在计算机视觉和医学人工智能领域有丰富的研究背景。
❓
延伸问答
谢伟迪教授在医疗人工智能领域的主要研究方向是什么？
谢伟迪教授专注于构建多模态通用医疗模型，旨在辅助医生并提高医疗资源的普适性。
团队在开源医疗数据集方面有哪些贡献？
团队构建了包含超3万本医学书籍和480万篇论文的开源医疗数据集，并收集了多种语言的医学文本和图像数据。
PMC-LLaMA模型的特点是什么？
PMC-LLaMA是一个开源医疗大语言模型，结合了医学数据和论文数据进行自回归式训练，旨在提升医疗领域的模型性能。
医疗人工智能面临哪些局限性？
大语言模型在医疗领域存在局限性，例如无法理解ICD代码，不能像医生一样提供及时的就医指导。
团队如何提升模型的性能？
通过将医学知识注入模型，并构建知识图谱，团队提升了模型在医疗任务中的表现。
多模态通用医疗模型的输入和输出形式是什么？
该模型支持多种输入模态，如图像和音频，输出包括视觉信息和文本诊断结果。
➡️
