生物医学视觉教学优化与临床医师偏好一致性调整

提出了一种新的对齐算法，将视觉语言模型与医学知识结合，生成多轮医学对话。

构建了一个包含160万对问答对和106千个详细图像描述的320万视觉指令调整数据集，显著提升了模型在视觉感知和推理方面的性能。

建立了大规模的医疗视觉问答数据集PMC-VQA，包含149k张图片的227k个问答对，超越了现有研究成果。

基于EmoVIT架构，使用GPT辅助流程生成情感视觉指令数据，证明了模型在情感分类和推理方面的能力。

引入偏好调优和自动生成数据的方法POVID，解决了视觉大语言模型中的幻觉问题，提高了模型性能。

开发了LLama3-Med模型，在生物医学视觉问答基准测试中实现了最先进的零-shot性能，平均性能提高超过10%。

基于BLIP-2方法，显著提高了医学图像描述生成的准确性和连贯性，在ImageCLEFmedical 2023数据集上取得最佳结果。

提出了一种新的数据收集方法，通过异步合成图像和对话进行视觉指导调优，增强了多种模型功能。

引入区域级别的视觉编码器，增强了图像教学调整功能，实现更细粒度的模态交叉对齐。