视角：减轻来自 EOS 决策的多模态幻觉
内容提要
该文综述多模态大语言模型的幻觉问题，涵盖检测、评估与缓解，提出对比学习、细粒度偏好优化、拒绝抽样、自我检测等方法，并构建M-HalDetect、RAH-Bench等基准，将GPT-3幻觉率从47.5%降至14.5%，提升视觉问答与视频时间理解的可靠性。
延伸解读
多模态幻觉的成因与表现
文章指出，多模态大语言模型的幻觉主要体现在对象、关系和属性三个层面，即模型可能错误识别物体、误判物体间关系或错误描述属性。这些幻觉源于模型对视觉信息的理解不足，以及训练数据中的偏差。通过对抗因果视觉指令扩展等方法，可以增强模型对幻觉的抵抗能力，从而提升视觉问答等任务的可靠性。
检测与评估方法的进展
为系统性地解决幻觉问题，研究者构建了多个基准数据集和检测方法。例如，M-HalDetect 数据集用于训练和评估幻觉检测模型，RAH-Bench 则针对三种幻觉类型进行评估。这些工具使得幻觉的量化分析成为可能，并推动了细粒度偏好优化、拒绝抽样等缓解技术的出现，为模型改进提供了可衡量的标准。
缓解策略的实际效果
文章提到，通过候选幻觉的识别、校验、减轻和继续生成的方法，GPT-3 模型的幻觉比例从 47.5% 降至 14.5%，显示了这些策略的有效性。此外，对比学习、自我检测等技术也在多个基准测试中证明了减少幻觉和提高性能的作用。这些方法不仅提升了视觉问答的准确性，还改善了视频时间理解等任务的可靠性。
未来挑战与研究方向
尽管已有多种缓解技术，但文章综述的 32 种方法仍面临挑战和局限性，如对复杂场景的适应性、计算成本以及评估标准的统一性。未来研究需要进一步探索如何将检测与缓解机制更紧密地结合，并扩展到更多模态和任务中，以全面提升多模态大语言模型的忠实度和可解释性。
Q&A
多模态大语言模型中的幻觉问题是什么？
多模态大语言模型中的幻觉问题是指模型生成与视觉内容不符的文本，包括对象、关系和属性幻觉，导致回答不准确。
有哪些方法可以减轻多模态大语言模型的幻觉？
减轻幻觉的方法包括对比学习、细粒度直接偏好优化、拒绝抽样、自我检测、检索增强生成、知识检索、CoNLI和CoVe等。
M-HalDetect数据集是什么？
M-HalDetect是一个用于训练和评估幻觉检测与预防模型的多模态幻觉检测数据集，旨在减少幻觉率。
RAH-Bench基准测试的作用是什么？
RAH-Bench是一个评估基准，分为三种不同的幻觉类型，用于评估多模态大语言模型的幻觉问题，相比原始LLaVA实现了+8.4%的改进。
如何降低GPT-3模型的幻觉率？
通过候选幻觉的识别、校验、减轻和继续生成的方法，可以将GPT-3模型的幻觉比例平均从47.5%下降到14.5%。
自我检测技术如何减少大语言模型的幻觉？
自我检测是一种预防性策略，通过模型自我检测幻觉，实验证明在幻觉检测方面表现优异，提高了语言助手的可靠性、适用性和解释性。
