大型语言模型是怀疑论者：输入冲突妄想的假阴性问题
内容提要
研究表明，大型语言模型（LLMs）在处理否定任务时容易产生幻觉，导致错误输出。通过分析模型行为，提出了多种减轻幻觉的策略，并开发了高准确率的分类器来预测幻觉的发生。这些发现为提高模型的可靠性和表达不确定性提供了重要启示。
延伸解读
幻觉预测的突破与局限
文章提到，通过分析模型内部动态，构建的分类器能以88%的准确率预测幻觉发生。这为实时检测和干预提供了可能，但需注意该准确率基于特定实验设置，实际应用中可能受模型、任务和领域影响。此外，预测幻觉不等于消除幻觉，如何将预测转化为可靠的缓解策略仍是挑战。
否定任务：幻觉的放大镜
文章指出，大型语言模型在涉及否定的任务中幻觉问题尤为严重。否定是自然语言中常见的逻辑操作，模型若在此类任务上不可靠，将影响事实核查、推理等应用。这提示我们，评估模型时需专门测试否定场景，并考虑在训练数据中增加否定样本以提升鲁棒性。
不确定性表达：从缺陷到可控
研究发现，模型面对不熟悉概念时倾向于默认输出“关于不确定性的预测”，且可通过修改训练数据中的监督来控制。这意味着模型本身具备表达不确定性的潜力，但当前输出往往不主动、不可靠。教导模型主动表达不确定性，而非强行生成答案，是减少幻觉伤害的重要方向。
事实验证器的意外发现
人工评估显示GPT-3.5的事实性输出不到25%，凸显了事实验证器的必要性。有趣的是，研究中表现最不事实的FLAN-T5-11B作为验证器却最佳，甚至超过GPT-3.5。这暗示生成能力与验证能力可能并不正相关，为设计轻量级、高可靠验证工具提供了新思路。
Q&A
大型语言模型在处理否定任务时会出现什么问题？
大型语言模型在处理否定任务时容易产生幻觉，导致错误输出。
研究中提出了哪些策略来减轻幻觉现象？
研究提出了多种减轻幻觉的策略，包括修改训练数据和使用自我检测技术。
如何预测大型语言模型的幻觉发生？
开发了一个能够以88%的准确率预测幻觉发生的分类器。
训练数据的哪些特征导致了幻觉的产生？
训练数据的记忆和频率偏好是导致幻觉产生的主要因素。
大型语言模型在面对不熟悉概念时的表现如何？
在面对不熟悉概念时，大型语言模型倾向于默认使用不确定性的预测。
GPT-3.5的事实性输出表现如何？
GPT-3.5的事实性输出不到25%，显示出严重的幻觉问题。
