大型视觉语言模型中的幻觉调查
内容提要
该文综述大语言模型与大型视觉语言模型的幻觉问题，涵盖幻觉分类、成因、检测方法、评估基准及缓解技术（如检索增强生成、LURE），并提出HILT数据集、HVI指数和POPE评估方法，以提升模型可靠性。
延伸解读
幻觉评估框架与数据集
文章介绍了多个评估大型视觉语言模型幻觉的框架和数据集。HaELM框架提出了评估方法并分析幻觉因素；HILT数据集包含75,000个样本和人工注释，用于细粒度幻觉建模；POPE评估方法则针对物体幻觉问题，提供更稳定灵活的评估。这些工具共同提升了幻觉检测的标准化和可靠性。
幻觉缓解技术概览
文章综述了多种缓解幻觉的技术，包括检索增强生成、知识检索、CoNLI和CoVe等，并基于数据集利用、任务类型、反馈机制和检索器类型进行分类。LURE算法通过重建较少幻觉的描述来修正物体幻觉，在视觉总结和推理任务中表现提升。这些方法旨在提高模型输出的忠实度。
幻觉分类与成因分析
文章对幻觉进行了细致分类，如按方向（FM和SL）和严重程度（温和、中度、令人担忧）划分，并区分内在与外在幻觉。成因涉及视觉指导的影响、模型训练不足等。理解这些分类和成因有助于针对性地设计缓解策略，并推动更鲁棒的模型开发。
Q&A
大型视觉语言模型中的幻觉是什么？
大型视觉语言模型中的幻觉是指模型生成与输入图像不符或虚构的内容，例如物体幻觉。
有哪些方法可以检测大型视觉语言模型的幻觉？
检测方法包括基于标记的方法、POPE评估方法等，用于识别不同类型的幻觉。
如何缓解大型视觉语言模型的幻觉问题？
缓解技术包括检索增强生成、知识检索、CoNLI、CoVe以及LURE算法等，通过修正描述或增强知识来减少幻觉。
HILT数据集是什么？
HILT（HallucInation eLiciTation）数据集包含75,000个样本和人工注释，用于细粒度幻觉建模和缓解。
HVI指数是什么？
HVI（Hallucination Vulnerability Index）指数用于量化和评估语言模型在产生幻觉方面的脆弱性，可作为政策制定工具。
POPE评估方法是什么？
POPE是一种改进的评估方法，用于更稳定和灵活地评估大型视觉语言模型中的物体幻觉问题。
