从计算机视觉向医疗AI，上海交大谢伟迪发布多项成果，登Nature子刊/NeurIPS/CVPR等
内容提要
近年来，AI for Science迅速发展，推动医疗和材料研究。上海交通大学谢伟迪教授专注于医学人工智能，分享团队在多模态医疗模型和开源数据集方面的成果，旨在辅助医生，提高医疗资源的普适性。
关键要点
-
近年来，AI for Science迅速发展，推动医疗和材料研究。
-
上海交通大学谢伟迪教授专注于医学人工智能，分享团队在多模态医疗模型和开源数据集方面的成果。
-
医疗人工智能已成为大势所趋，旨在推进医疗资源的普适化。
-
大语言模型在医疗领域存在局限性，无法完全替代医生。
-
团队的目标是构建多模态通用医疗模型，支持多种输入模态。
-
团队贡献了高质量的开源医疗数据集，涵盖文本和图像数据。
-
PMC-LLaMA是团队推出的开源医疗大语言模型，后续将持续迭代升级。
-
团队构建了多个视觉-语言模型，并在医学影像领域取得了重要成果。
-
通过知识图谱将医学知识注入模型，提升模型性能。
-
谢伟迪教授在计算机视觉和医学人工智能领域有丰富的研究背景。
延伸解读
医疗AI的普适化挑战
医疗资源的不均衡分布是长期存在的问题，尽管医疗AI的发展有助于提高资源的普适性，但仍需关注如何确保技术能够真正惠及每一个患者。谢伟迪教授的研究旨在通过多模态模型来解决这一问题，未来的应用需要在技术与实际医疗环境之间找到平衡。
大语言模型的局限性
尽管大语言模型在医疗领域的表现逐渐提升，但仍存在无法完全理解医疗专业知识的局限性。例如，它们对国际疾病分类代码的理解不足，无法替代医生的判断。因此，医疗AI应作为辅助工具，而非完全替代医生的角色。
开源数据集的重要性
高质量的开源医疗数据集是推动医疗AI发展的关键。谢伟迪教授团队的努力在于构建多样化的数据集，以支持模型训练和研究。这不仅有助于提升模型性能，也为学术界和行业提供了宝贵的资源，促进了医疗AI的进一步发展。
延伸问答
谢伟迪教授在医疗人工智能领域的主要研究方向是什么？
谢伟迪教授专注于构建多模态通用医疗模型，旨在辅助医生并提高医疗资源的普适性。
团队在开源医疗数据集方面有哪些贡献？
团队构建了包含超3万本医学书籍和480万篇论文的开源医疗数据集，并收集了多种语言的医学文本和图像数据。
PMC-LLaMA模型的特点是什么？
PMC-LLaMA是一个开源医疗大语言模型，结合了医学数据和论文数据进行自回归式训练，旨在提升医疗领域的模型性能。
医疗人工智能面临哪些局限性？
大语言模型在医疗领域存在局限性，例如无法理解ICD代码，不能像医生一样提供及时的就医指导。
团队如何提升模型的性能？
通过将医学知识注入模型，并构建知识图谱，团队提升了模型在医疗任务中的表现。
多模态通用医疗模型的输入和输出形式是什么？
该模型支持多种输入模态，如图像和音频，输出包括视觉信息和文本诊断结果。
