大型语言模型总会出现幻觉，我们需要与此共存
内容提要
本文探讨了大型语言模型（LLMs）中的幻觉现象，分析了其检测、解释和缓解方法。研究表明，LLMs在生成虚假文本方面存在固有倾向，并提出了幻觉的分类和评估基准，强调理解和减轻幻觉的重要性，以提高LLMs的可靠性。
延伸解读
幻觉的固有性：为何无法根除
文章指出，大型语言模型的幻觉并非偶然缺陷，而是其统计学习本质的必然产物。研究表明，即使训练数据完美，模型对仅出现一次的事实仍会以接近Good-Turing估计的概率产生幻觉。这意味着幻觉与模型架构或数据质量无关，而是源于语言模型无法学习所有可计算函数的理论限制。因此，追求完全消除幻觉是不现实的，我们更应关注如何检测和缓解其影响。
检测与预测：从动态推理中寻找线索
文章介绍了一种基于推理动态的幻觉检测方法。通过分析模型在正确与错误输出上的行为差异，研究者发现幻觉案例中输出令牌概率在模型后期层会突然增加并持续占优。利用这种动态曲线特征，可以构建分类器以88%的准确率预测幻觉发生。这为实时监测模型可靠性提供了新思路，也揭示了模型即使知道正确答案仍可能产生幻觉的内在机制。
缓解策略：干预自注意力层与混合专家
针对幻觉缓解，文章提到了两种有前景的方向：一是通过干预自注意力层，在前部或尾部禁用特定层可减轻幻觉；二是采用大量内存专家的混合模型（如Lamini-1），增强模型对大数据的记忆能力，从而减少幻觉。这些方法表明，虽然无法根除幻觉，但通过架构调整和训练策略，可以显著降低其发生频率，提升模型实用性。
术语与评估：需要更清晰的框架
文章批判性地指出，当前对“幻觉”一词缺乏共识，且不同研究对其定义和分类各异。通过对103篇NLP研究的审查和对171名从业者的调查，作者强调明确定义和框架定位幻觉的必要性。此外，针对代码生成领域，文章提出了包含五个类别的幻觉分类法和评估基准HalluCode，发现现有模型在识别和减轻代码幻觉方面仍面临巨大挑战。
Q&A
大型语言模型中的幻觉是什么？
大型语言模型中的幻觉是指模型生成看似真实但实际上虚假的文本，这种现象对人工智能系统的可用性构成障碍。
为什么大型语言模型会产生幻觉？
大型语言模型产生幻觉的原因与其固有的统计特性有关，而不是与模型架构或数据质量直接相关。
如何检测大型语言模型中的幻觉？
可以通过建立评估基准和使用动态曲线分析等方法来检测大型语言模型中的幻觉，研究表明可以达到88%的准确率。
是否可以完全消除大型语言模型中的幻觉？
不可能完全消除大型语言模型中的幻觉，因为它们无法学习所有可计算的函数，因此将始终产生幻觉。
有哪些方法可以减轻大型语言模型的幻觉？
可以通过干预自注意力层和应用心理分类学等策略来减轻大型语言模型的幻觉问题。
大型语言模型幻觉的分类有哪些？
大型语言模型幻觉可以分为五个主要类别，这些类别帮助更好地理解和评估幻觉现象。
