本能偏见：虚假图像导致多语言语言模型的幻觉
内容提要
本文综述大语言模型与视觉语言模型中的幻觉问题，涵盖成因、分类、检测与缓解方法。研究指出训练数据记忆和频率偏好是主要诱因，提出对比学习、交互自我反思、细粒度偏好优化等策略，并构建多模态幻觉检测数据集与基准，实验证明可有效降低幻觉、提升模型可靠性。
延伸解读
幻觉成因：训练数据记忆与频率偏好
文章指出，训练数据的记忆和频率偏好是导致生成式大语言模型产生幻觉的两个主要因素。这意味着模型可能过度依赖训练数据中的高频模式，而非真正理解上下文，从而在自然语言推断等任务中表现出明显问题。这一发现提示我们，单纯扩大数据规模未必能消除幻觉，还需关注数据分布和模型的学习机制。
多模态幻觉检测与缓解的进展
文章介绍了M-HalDetect数据集，用于训练和评估幻觉检测与预防模型，并采用细粒度直接偏好优化和拒绝抽样方法，成功降低了幻觉率。此外，通过对比学习、交互自我反思等策略，在多个基准测试中证明了减少幻觉的有效性。这些方法为提升视觉问答等任务的可靠性提供了具体路径。
现有解决方案的局限与未来方向
评估显示，GPT-4V等视觉语言模型存在区域性偏见和对引导性问题的脆弱性，而现有解决方案效果有限。文章强调需要新的解决方案，并指出未来研究应关注幻觉的根本原因、检测基准的完善以及跨任务分类法的建立。这提醒读者，当前技术仍不完善，需谨慎对待模型输出。
Q&A
多模态大语言模型中的幻觉问题是什么？
幻觉是指模型生成与输入或事实不符的内容。在多模态大语言模型中，幻觉表现为对视觉信息的错误描述或推理，例如在视觉问答任务中生成不存在的物体或错误属性。
导致大语言模型产生幻觉的主要原因有哪些？
训练数据的记忆和频率偏好是导致生成式大语言模型产生幻觉的两个主要因素。模型倾向于依赖训练数据中高频出现的模式，而非基于实际输入进行推理。
有哪些方法可以检测大语言模型中的幻觉？
可以通过探究模型生成的输入、输出和内部状态中的指标来检测幻觉。这些指标在幻觉生成和非幻觉生成之间存在差异，利用这些指标训练二分类器可以将模型生成划分为幻觉和非幻觉，AUROC值可达0.80。此外，先前的幻觉中的令牌可以预测随后的幻觉。
如何缓解多模态大语言模型中的幻觉问题？
缓解幻觉的方法包括对比学习、交互自我反思、细粒度直接偏好优化（Fine-grained Direct Preference Optimization）和拒绝抽样等。这些方法在多个基准测试中证明了减少幻觉和提高性能的有效性。
GPT-4V在视觉语言模型中表现出哪些幻觉行为？
GPT-4V存在偏见，如区域性偏见和对引导性问题的脆弱性。视觉语言模型中常见的两种幻觉类型是偏见和干扰。评估结果表明现有解决方案无效，强调了需要新的解决方案。
有哪些数据集或基准用于评估多模态幻觉？
M-HalDetect是一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。此外，还有针对大型视觉语言模型幻觉评估的基准和方法论概述。
