多模态大型语言模型的统一幻觉检测
内容提要
本文综述大语言模型幻觉研究进展，涵盖多模态幻觉检测数据集M-HalDetect、AMBER基准、无参考不确定性检测法及HaELM评估框架，并介绍AutoHall自动构建幻觉数据集、HILT数据集与幻觉脆弱性指数HVI，系统分析幻觉来源、检测与缓解方法。
延伸解读
多模态幻觉检测的专用数据集与优化方法
文章介绍了M-HalDetect数据集，它专门用于训练和评估多模态幻觉检测与预防模型。结合细粒度直接偏好优化和拒绝抽样方法，该研究成功降低了幻觉率，为视觉问答任务提供了重要改进。这表明针对多模态场景的定制化数据集和优化策略是缓解幻觉的有效途径。
多维度基准与无参考检测技术
AMBER基准从生成和判别任务两个维度评估多模态大模型的幻觉问题，并对主流模型进行了全面分析。同时，一种无参考、基于不确定性的检测方法通过关注关键词、历史不可靠标记及其属性，实现了最新检测性能，且无需额外信息。这些进展提升了幻觉检测的实用性和可扩展性。
幻觉评估框架与脆弱性量化
HaELM框架专注于评估大型视觉-语言模型的幻觉，并分析致幻因素。此外，HILT数据集包含75,000个样本和人工注释，对幻觉进行了细粒度分类；HVI指数则量化模型产生幻觉的脆弱性，可作为政策制定工具。这些工作为系统评估和比较不同模型的幻觉风险提供了标准化手段。
自动构建数据集与系统性实证研究
AutoHall方法通过自相矛盾自动构建模型特定的幻觉数据集，并实现无资源、黑盒的幻觉检测，在开源和闭源模型上优于现有基准。同时，一项系统性实证研究构建了HalualEval 2.0基准，深入分析幻觉来源并检验缓解技术。这些研究揭示了不同模型间幻觉比例和类型的差异，为理解幻觉成因和制定缓解策略提供了重要发现。
Q&A
多模态大语言模型幻觉检测有哪些常用数据集或基准？
文章提到了多个数据集和基准：M-HalDetect（用于训练和评估幻觉检测与预防模型的多模态幻觉检测数据集）、AMBER（多维度基准，用于评估MLLMs在生成和判别任务中的幻觉）、HILT（包含75,000个样本和人工注释的幻觉诱导数据集）、HalualEval 2.0（新的幻觉基准）。
如何检测大语言模型中的幻觉？
文章介绍了几种检测方法：无参考、基于不确定性的检测方法，通过关注关键词、历史上不可靠的标记以及标记属性（如类型和频率）来实现；AutoHall方法通过自相矛盾自动构建模型特定的幻觉数据集，并实现无资源和黑盒幻觉检测；HaELM框架用于评估大视觉-语言模型的幻觉；还有基于表示学习和对比学习的方法。
大语言模型产生幻觉的原因有哪些？
文章指出幻觉来源包括：模型在生成事实不准确内容时的内在因素，以及外部因素。具体分析涉及对幻觉的细粒度建模，从度、方向和类别上的倾向进行建模，并将幻觉分为内在和外在，严重程度分为温和、中度和令人担忧三个级别，同时有六种类型的细致分类。
有哪些方法可以减轻大语言模型的幻觉问题？
文章提到了多种缓解方法：使用Fine-grained Direct Preference Optimization和拒绝抽样方法减少幻觉率；通过对比学习减少幻觉并提高性能；以及实施一系列常用技术来缓解语言模型中的幻觉。此外，HaELM框架也提供了缓解幻觉问题的建议。
什么是幻觉脆弱性指数（HVI）？
HVI（Hallucination Vulnerability Index）是一个可以量化和评估语言模型在产生幻觉方面的脆弱性的指数，并作为人工智能相关政策制定的标准工具。
AutoHall方法是如何工作的？
AutoHall方法通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现无资源和黑盒幻觉检测方法。实验证明，该方法在幻觉检测性能上优于现有基准模型，并发现了不同模型之间的幻觉比例和类型的差异。
