现代医学依赖影像解读，AI医疗视觉语言模型（LVLMs）面临数据稀缺和任务冲突的挑战。浙江大学等团队提出HealthGPT模型，通过异构知识适配，构建统一的医疗多模态理解与生成模型，推动医疗AI的发展。

本研究聚焦于医学领域中的理解与生成能力的融合问题，提出了一种新型的医疗大规模视觉语言模型HealthGPT。通过异构低秩适应技术和层次化视觉感知方法，HealthGPT在医学视觉任务上表现出卓越的性能和可扩展性，具有潜在的临床应用影响。