为大型视觉语言模型提供定向指导调节,减轻幻觉
原文中文,约400字,阅读约需1分钟。发表于: 。针对当前大型视觉 - 语言模型在生成回复和相应图像之间存在的不一致问题,本研究提出了一种名为 DFTG 的有针对性的指导数据生成框架,通过诊断模型的响应和图像,生成有针对性的指导数据以减轻幻觉问题。实验结果表明,与先前的数据集相比,我们的方法生成的有针对性指导数据在减轻幻觉方面更加有效。
本文介绍了Instruction Contrastive Decoding(ICD)方法,用于减少大规模视觉-语言模型中的幻觉。ICD通过对比标准和干扰指令的分布,有效减去幻觉概念,提升LVLM的感知和识别能力。实验证明,ICD显著减轻了物体级和属性级幻觉。