该文综述多模态大模型幻觉问题,涵盖视觉问答、图像描述与数据到文本生成中的对象、关系、属性幻觉检测与缓解,并提出M-HalDetect数据集、细粒度偏好优化、自信度分数、变分贝叶斯训练、文本评论家及强化学习等方法,以减少幻觉、提升忠实度,在多项基准上优于基线。
本文综述大语言模型与视觉语言模型中的幻觉问题,涵盖成因、分类、检测与缓解方法。研究指出训练数据记忆和频率偏好是主要诱因,提出对比学习、交互自我反思、细粒度偏好优化等策略,并构建多模态幻觉检测数据集与基准,实验证明可有效降低幻觉、提升模型可靠性。
完成下面两步后,将自动完成登录并继续当前操作。