RITUAL：随机图像变换作为 LVLM 中的通用抗幻觉杠杆
内容提要
本文探讨了大型视觉语言模型（LVLMs）中的幻觉问题，提出了视觉对比解码（VCD）和图像偏置解码等方法，以减少幻觉并提高模型性能。研究表明，这些方法在无需额外训练的情况下显著提升了输出准确性，并提供了幻觉评估框架及未来研究方向的建议。
延伸解读
无需训练的抗幻觉方法成为趋势
文章汇总的多项研究，如视觉对比解码（VCD）和图像偏置解码，均强调无需额外训练即可减少幻觉。VCD通过对比原始与失真视觉输入的输出分布来降低统计偏差和单模态先验的影响；图像偏置解码则自适应调整策略以对抗过度依赖文本。这些方法在多个基准测试中表现出广泛适用性，且仅需微小参数增加，为实际部署提供了低成本的优化路径。
评估基准与检测工具逐步完善
针对幻觉评估，文章提到了RAH-Bench、HaELM和MetaToken等工具。RAH-Bench将幻觉分为三种类型，在LLaVA上实现了+8.4%的改进；HaELM框架分析幻觉因素并提供缓解建议；MetaToken作为轻量级二元分类器，能以低成本检测幻觉。这些进展表明，幻觉问题的量化与检测正变得更加系统化，有助于推动更可靠的模型比较与迭代。
幻觉根源与数据生成策略受关注
文章指出，幻觉的根本原因涉及训练数据和模型组件。DFTG框架通过诊断模型响应与图像的不一致，生成有针对性的指导数据来减轻幻觉，实验证明其比先前数据集更有效。同时，综合调查也强调了对训练数据认知的重要性。这提示读者，除了推理阶段的解码策略，数据层面的针对性改进同样是缓解幻觉的关键方向。
Q&A
大型视觉语言模型中的幻觉问题是什么？
幻觉问题是指大型视觉语言模型在生成内容时，可能产生与视觉输入不一致或无依据的回答。
如何减少大型视觉语言模型中的幻觉？
可以通过引入视觉对比解码（VCD）和图像偏置解码等方法来减少幻觉，这些方法无需额外训练且能显著提高模型性能。
RAH-Bench评估基准的作用是什么？
RAH-Bench评估基准用于评估大型视觉语言模型的幻觉类型和性能，显示出与原始LLaVA相比的性能提升。
什么是视觉对比解码（VCD）？
视觉对比解码（VCD）是一种无需额外训练的方法，通过对比原始和失真的视觉输入，降低物体幻觉的影响。
HaELM框架的目的是什么？
HaELM框架旨在评估大型视觉语言模型中的幻觉，分析导致幻觉的因素并提供缓解建议。
MetaToken在LVLM中有什么应用？
MetaToken用于检测大型视觉语言模型中的幻觉，提供了一种低成本的轻量级二元分类器。
