更加关注图像：一种无需训练的方法来减轻 LVLM 中的幻觉
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
这篇论文探讨了大型视觉-语言模型（LVLMs）中的幻觉问题，提出了评估框架和无需训练的残差视觉解码方法，以减少幻觉现象。研究表明，开源 LVLMs 性能下降，通过引入更详细的视觉注释和新评估基准 RAH-Bench 提高模型准确性。此外，提出的去偏策略有效减轻了偏见，增强了生成内容的真实性。
🔎
延伸解读
无需训练方法的实际价值
论文提出的残差视觉解码和RITUAL等方法均无需额外训练，仅需调整推理过程或利用随机图像变换。这降低了计算成本，便于在现有LVLM上直接部署，对于资源有限的研究者和开发者具有较高实用价值。
评估基准与性能提升
研究引入了RAH-Bench基准，将幻觉分为三种类型，并显示所提方法在基准上相比原始LLaVA提升8.4%。同时，评估框架揭示开源LVLMs在幻觉相关查询下性能下降至少31%，突显了幻觉问题的严重性。
去偏策略的核心思路
针对LVLMs过度依赖文本先验而忽略视觉输入的问题，论文提出校准和去偏抽样两种策略。校准通过仿射变换调整输出分布，使无图像时答案均匀；去偏抽样则借鉴对比解码，在开放式生成中减少偏见，增强视觉真实性。
❓
Q&A
LVLMs中的幻觉问题是什么？
LVLMs中的幻觉问题是指模型在处理视觉输入时生成与实际视觉信息不符的错误响应。
如何评估LVLMs的性能下降？
研究提出了一个评估框架，显示开源LVLMs的性能下降至少31%。
有哪些方法可以减轻LVLMs中的幻觉现象？
提出了无需训练的残差视觉解码方法、去偏策略和校准步骤等方法来减轻幻觉现象。
RAH-Bench基准的作用是什么？
RAH-Bench是一个新的评估基准，用于评估LVLMs在处理幻觉时的性能，改进幅度达到8.4%。
去偏策略如何增强生成内容的真实性？
去偏策略通过减少模型对文本的过度依赖，增强了生成内容的真实性。
MetaToken在LVLMs中有什么应用？
MetaToken用于提出轻量级二元分类器，以低成本检测LVLMs中的幻觉。
🏷️
