通过关键观察提升多模态大语言模型的一致性

BriefGPT - AI 论文速递 · 2024-12-06T00:00:00Z

本研究解决了多模态大语言模型（MLLMs）在推理能力和幻觉减少方面依赖于高质量注释数据的问题。我们提出了增强一致性的方法EACO，通过自生成偏好数据仅使用5000张图像来经济地提高模型的表现。EACO在多个基准测试中显示出显著改进，幻觉减少了65.6%，推理能力提升了21.8%。