基于 LVLM 的图像描述中,更多的细节总是引入更多的幻觉吗?
原文中文,约400字,阅读约需1分钟。发表于: 。我们提出了一种新的解码策略,名为差异化束搜索解码(DBD),以及一组可靠的评估指标:CLIP-Precision、CLIP-Recall 和 CLIP-F1,用于图像描述。我们的方法在 Visual Genome 数据集上进行了广泛实验证明了其有效性,能够生成细节丰富的描述,并保持低的幻觉水平。
本文介绍了Instruction Contrastive Decoding(ICD)方法,用于减少大规模视觉-语言模型(LVLMs)中的幻觉。ICD通过对比标准和干扰指令的分布,有效减去幻觉概念,提升LVLM的感知和识别能力。实验证明,ICD显著减轻了物体级和属性级幻觉。