OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服
内容提要
OpenAI的安全系统团队负责人Lilian Weng介绍了近年来在理解、检测和克服大型语言模型（LLM）幻觉方面的研究成果。研究者提出了多种方法，包括幻觉检测、基于采样的检测、对未知知识进行校准、间接查询和反幻觉方法。微调模型也被用于提升事实性和减少幻觉。这些研究对于改进大型语言模型的可靠性和准确性具有重要意义。
延伸解读
幻觉的两种类型：上下文幻觉与外源性幻觉
文章将幻觉分为上下文幻觉和外源性幻觉。上下文幻觉指模型输出与给定上下文不一致；外源性幻觉指模型输出与预训练知识不符。由于预训练数据规模庞大，检索和识别冲突成本极高，因此外源性幻觉的检测和克服更具挑战。理解这一区分有助于针对不同场景选择评估和缓解策略。
微调新知识可能加剧幻觉
文章引用Gekhman et al. (2024)的研究指出，当微调样本包含模型未知的新知识时，模型学习速度更慢，且一旦学会这些样本，模型会更倾向于产生幻觉。实验表明，在已知和未知样本混合微调时，若未知样本比例过高，开发集性能下降。这提示在实际微调中应谨慎引入新知识，避免因监督微调而损害事实性。
检测幻觉的多种途径：从检索增强到间接查询
文章介绍了多种幻觉检测方法。检索增强式评估利用外部知识库验证生成内容的事实性，如FactualityPrompt和FActScore。基于采样的检测如SelfCheckGPT，通过多次采样检查一致性，无需外部知识库。对未知知识的校准则关注模型是否能在不知道时承认不知，如TruthfulQA和SelfAware基准。间接查询通过询问辅助信息（如作者）来检验参考文献真实性，效果优于直接查询。这些方法各有适用场景，可结合使用。
反幻觉方法：检索、编辑与微调
文章综述了多种反幻觉方法。检索增强生成（RAG）通过检索外部文档提供事实基础。RARR和FAVA等编辑方法可追溯性地修正无证据支持的内容。动作链如CoVe通过规划验证问题减少幻觉。针对事实性微调（如FLAME和Factuality tuning）利用DPO等技术提升模型事实性。采样方法如事实核采样动态调整概率以减少幻觉。这些方法从不同角度提升模型可靠性，实际应用中可根据需求组合使用。
Q&A
什么是大型语言模型的幻觉？
大型语言模型的幻觉是指模型生成不真实、虚构或不一致的内容，通常分为上下文幻觉和外源性幻觉。
幻觉产生的主要原因是什么？
幻觉产生的原因包括预训练数据的问题和微调新知识的引入，这可能导致模型更倾向于产生幻觉。
有哪些方法可以检测大型语言模型的幻觉？
幻觉检测方法包括检索增强式评估、基于采样的检测和对未知知识的校准等。
如何通过微调来减少模型的幻觉？
通过微调模型以提升其事实性和减少幻觉，特别是针对归因和事实性的微调方法。
反幻觉方法有哪些？
反幻觉方法包括检索增强式生成（RAG）、动作链和针对事实性进行微调等。
评估大型语言模型幻觉的基准有哪些？
评估基准包括TruthfulQA、FactualityPrompt和SelfAware等，这些基准用于测量模型生成的事实性和诚实性。
