视觉去想象指导生成：了解自己不知道的知识
内容提要
该文综述大语言模型幻觉问题，涵盖视觉识别、导航指令、医学问答等场景，介绍M-HalDetect、DelucionQA等数据集及检测方法，提出交互自我反思、MixAlign等缓解方案，并呼吁统一“AI幻觉”术语定义。
延伸解读
幻觉检测的多样化技术路径
文章介绍了多种幻觉检测方法，包括基于模型内部状态指标的二分类器（AUROC达0.80）、针对知识图谱聊天机器人的实体级检测系统（FADE数据集），以及利用对比损失微调的导航指令检测模型。这些方法分别从内部特征、结构化知识和任务特定数据入手，表明幻觉检测没有单一通用方案，需结合具体场景选择。
缓解策略：从交互反思到偏好优化
在缓解幻觉方面，文章提到了交互自我反思、MixAlign框架和Fine-grained Direct Preference Optimization等方法。交互自我反思在医学问答中优于基线；MixAlign通过用户与知识库交互消除虚假响应；偏好优化结合拒绝抽样降低了视觉问答的幻觉率。这些策略的共同点是引入外部反馈或对齐机制，而非仅依赖模型自身。
术语统一与评估基准的迫切性
文章指出“AI幻觉”术语定义不一致，系统回顾14个数据库后发现使用缺乏共识，并提出了替代术语。同时，DelucionQA等数据集的建立为检索增强LLM的幻觉检测提供了基准。术语混乱和评估标准缺失会阻碍研究比较与进展，统一术语和构建领域特定基准是当前重要方向。
Q&A
什么是AI幻觉？
AI幻觉是指大型语言模型生成的文本中存在幻觉现象，即模型生成虚假或不支持的信息。
有哪些方法可以减少大语言模型的幻觉？
减少幻觉的方法包括信息检索、交互自我反思、MixAlign框架、Fine-grained Direct Preference Optimization和拒绝抽样等。
DelucionQA数据集是什么？
DelucionQA是一个复杂的数据集，用于捕捉检索增强LLM在特定领域问答任务中产生的幻觉，并提供了一系列幻觉检测方法作为基准。
如何检测大语言模型中的幻觉？
可以通过探究模型生成的输入、输出和内部状态中的指标来检测幻觉，并训练二分类器使用这些指标作为输入特征，其AUROC值达到0.80。
MixAlign框架是如何工作的？
MixAlign框架通过与用户和知识库的交互来消除语言模型生成虚假和不支持的响应，利用语言模型实现自动问题-知识对齐，并在必要时通过人工用户澄清来进一步增强对齐。
AI幻觉术语的定义是否统一？
不统一。系统回顾14个数据库发现，使用“AI幻觉”这一术语的一致性不足，提出了几个替代术语，并呼吁在涉及多个领域的重要当代AI问题上实现更加统一的共识。
