通过针对幻觉的直接偏好优化减轻多模态大型语言模型中的幻觉现象

本研究针对多模态大型语言模型（MLLM）在应用中常出现的幻觉问题，提出了一种新的方法——针对幻觉的直接偏好优化（HDPO）。与以往方法不同，HDPO从多个幻觉的成因入手，针对视觉能力不足、长文本生成和多模态冲突等问题开发了三种不同的偏好数据对。实验结果显示，该方法在多项评价数据集上表现优异，超越了大多数现有技术，提升了模型的实际应用潜力。