IBD：通过图像偏置解码减轻大型视觉语言模型中的幻觉
内容提要
本文综述大型视觉语言模型的幻觉问题，涵盖其概念、成因、评估基准与缓解方法，并介绍VCD、CLIP引导解码、LURE、M-HalDetect、ObjMLM等无需训练或微调的策略，通过对比视觉输入、优化偏好与视觉注释来降低物体幻觉、提升生成真实性。
延伸解读
无需训练的策略为何受关注
文章重点介绍了VCD、CLIP引导解码等无需训练或微调的方法。这类策略不改变模型参数，而是通过对比原始与失真视觉输入、优化解码过程来抑制幻觉，降低了应用门槛。对于希望快速改善现有LVLM输出真实性的开发者，这些方法提供了即插即用的思路，但实际效果可能因模型和任务而异。
评估基准与检测数据集的角色
文中提及M-HalDetect、RAH-Bench、HaELM等评估基准和检测数据集。它们不仅用于衡量幻觉程度，还能指导模型改进。例如，RAH-Bench将幻觉分为三种类型，帮助定位问题；M-HalDetect结合偏好优化减少幻觉。这些工具让幻觉缓解从模糊概念走向可量化、可比较的工程实践。
从数据与训练目标入手缓解幻觉
除了解码策略，文章还提到通过更详细的视觉注释、更具区分性的视觉模型以及ObjMLM等损失函数来减少物体幻觉。ObjMLM在视觉语言预训练中直接优化对象级掩码语言建模，实验显示可降低多达17.4%的幻觉。这表明改进训练数据和目标函数是另一条有效路径，但可能需要更多计算资源。
幻觉问题的多样性与未解挑战
综述指出LVLM幻觉症状多样，根本原因涉及训练数据和模型组件。现有方法如LURE通过重建描述来修正幻觉，VHTest则揭示了GPT-4V等模型在多种视觉幻觉模式下的脆弱性。尽管缓解手段不断涌现，但文章强调仍存在未解问题，例如如何平衡幻觉减少与通用性能，以及如何系统评估不同方法的泛化能力。
Q&A
什么是大型视觉语言模型中的幻觉问题？
大型视觉语言模型（LVLMs）在生成内容时，会产生与视觉输入不符的物体幻觉，即生成不真实或与图像无关的物体描述。
有哪些无需训练的方法可以减轻大型视觉语言模型的幻觉？
无需训练的方法包括Visual Contrastive Decoding (VCD)、CLIP引导解码、LURE等。VCD通过对比原始和失真视觉输入的输出分布来减少幻觉；CLIP引导解码增强文本与图像的视觉联系；LURE通过重建较少幻觉的描述来修正物体幻觉。
VCD方法是如何工作的？
VCD（Visual Contrastive Decoding）通过对比原始和失真的视觉输入产生的输出分布，降低统计偏差和单模式先验的影响，确保生成内容与视觉输入密切相关，从而减少物体幻觉。
有哪些评估大型视觉语言模型幻觉的基准或数据集？
评估基准包括M-HalDetect（多模态幻觉检测数据集）、RAH-Bench（分为三种幻觉类型）、HaELM（幻觉评估框架）以及VHTest（包含8种视觉幻觉模式的数据集）。
ObjMLM方法能减少多少物体幻觉？
ObjMLM是一种视觉语言预训练损失，实验表明它可以将物体幻觉降低多达17.4%。
大型视觉语言模型产生幻觉的根本原因有哪些？
根据综述，幻觉的根本原因包括训练数据和模型组件方面的因素，如统计偏差和单模式先验等。
