通过重平衡对比解码减轻视觉语言模型中的幻觉
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了视觉语言模型(VLMs)在处理多模态知识冲突时产生幻觉的问题。提出的重平衡对比解码(RBD)方法通过引入文本和视觉分支,重新校准模型的注意力分配,显著降低了文本偏见,增强了视觉信息。实验结果表明,RBD方法在减少幻觉方面优于现有方法,同时保持了模型的整体能力。
本文介绍了Instruction Contrastive Decoding(ICD)方法,用于减少大规模视觉-语言模型(LVLMs)在多模态决策和开放性生成方面的幻觉。ICD通过对比标准和干扰指令的分布,增加了对齐的不确定性,有效减去了幻觉概念。实验证明,ICD显著减轻了物体级幻觉和属性级幻觉,并提升了LVLM的一般感知和识别能力。