ConVis：对比解码与幻觉可视化以减轻多模态大型语言模型中的幻觉
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
大视觉语言模型（LVLMs）在生成与视觉输入相关内容时常出现物体幻觉问题。本文提出了一种名为视觉对比解码（VCD）的方法，通过对比原始和失真的视觉输入，显著降低幻觉影响，确保生成内容的准确性。实验表明，VCD无需额外训练，能有效改善LVLM的性能和可靠性。
🔎
延伸解读
无需训练：降低部署门槛
VCD 是一种无需额外训练或外部工具的方法，仅通过对比原始与失真视觉输入的输出分布来减轻幻觉。这意味着研究者和开发者可以直接在现有 LVLM 上应用，无需重新训练或微调，节省计算资源和时间，有利于快速部署和实验。
跨模型适用性：广泛减轻幻觉
实验表明，VCD 在不同的 LVLM 族群中均能显著减轻物体幻觉问题，并在通用 LVLM 基准测试中表现出色。这显示该方法不依赖于特定模型架构，具有较好的泛化能力，可为多种视觉语言模型提供即插即用的幻觉缓解方案。
对比解码的演进：从 VCD 到后续方法
文章提及了 VCD 之后的一系列对比解码改进方法，如 ICD、M3ID、Pensieve、RITUAL 和 CODE 等。这些方法从不同角度（如指令对比、多模态互信息、图像变换）进一步减少幻觉，反映了该领域快速迭代的趋势，也说明 VCD 是这一技术路线的重要基础。
❓
Q&A
什么是视觉对比解码（VCD）？
视觉对比解码（VCD）是一种通过对比原始和失真的视觉输入来降低物体幻觉影响的方法，确保生成内容的准确性。
VCD方法是否需要额外的训练？
VCD方法无需额外训练，能够有效改善LVLM的性能和可靠性。
VCD在实验中表现如何？
实验表明，VCD在不同的LVLM族群中显著减轻了物体幻觉问题，并在通用LVLM基准测试中表现出色。
LVLMs中物体幻觉问题的影响是什么？
物体幻觉问题会导致生成的文本不准确地表示视觉内容，从而影响模型的可靠性和可信度。
VCD如何解决多模态大型语言模型中的幻觉问题？
VCD通过对比原始和失真的视觉输入，降低统计偏差和单模式先验，从而减少幻觉的产生。
VCD的适用性如何？
VCD展示了广泛的适用性，能够在不同的LVLM族群中有效减轻幻觉问题。
🏷️
