通过第二层清晰观察：增强注意力头以减轻大规模多模态语言模型中的幻觉

本研究针对多模态大型语言模型中的幻觉问题，探讨了图像令牌与幻觉之间的关系，发现大多数幻觉与模型自注意力矩阵中的注意力沉积模式密切相关。我们提出了一种无训练的方法，增强注意力头（EAH），旨在提高浅层的图像令牌注意力沉积收敛性，通过广播关注图像的注意力矩阵，显著减轻幻觉现象。