MMedPO: Aligning Medical Vision-Language Models with Clinical-Aware Multimodal Preference Optimization
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种新的多模态偏好优化方法MMedPO,旨在解决医学视觉语言模型(Med-LVLMs)在模态对齐中的挑战。通过考虑临床相关性,MMedPO显著提高了模型在Med-VQA和报告生成任务中的准确性,分别提升14.2%和51.7%。
🎯
关键要点
- 本研究提出了一种新的多模态偏好优化方法MMedPO,旨在解决医学视觉语言模型(Med-LVLMs)在模态对齐中的挑战。
- MMedPO通过考虑偏好样本的临床相关性来增强模型对齐。
- 实验结果显示,MMedPO在Med-VQA和报告生成任务中显著提高了模型的事实准确性,平均提升达到14.2%和51.7%。
➡️