大型语言模型中的外部幻觉
内容提要
大型语言模型中的幻觉是指生成的不忠实、捏造、不一致或无意义的内容。幻觉问题分为上下文幻觉和外部幻觉。为避免幻觉，需要确保模型输出真实，并承认不知道答案。幻觉的原因包括预训练数据问题和微调新知识。幻觉检测方法有FactualityPrompt、FacTool和SelfCheckGPT。改进模型的方法有RAG、FLAME和Factuality tuning。
延伸解读
微调新知识为何增加幻觉风险
文章引用Gekhman等人2024年的研究指出，微调阶段引入新知识可能导致幻觉增加。实验发现，模型学习新知识示例的速度慢于已有知识示例，且一旦学会这些新知识，模型产生幻觉的倾向会上升。这提示我们，在微调时需谨慎处理新知识，避免过度拟合未知事实。
幻觉检测方法的适用场景
文章介绍了多种幻觉检测方法：FactualityPrompt基于维基百科评估事实性，FacTool通过外部工具验证声明，SelfCheckGPT利用多采样一致性检查。这些方法各有侧重，例如SelfCheckGPT无需外部知识库，适合黑盒模型；而FacTool支持多任务。选择时需根据任务需求和资源决定。
检索增强生成如何减少幻觉
RAG通过检索相关文档为生成提供依据，减少幻觉。文章还提到RARR、FAVA等方法，它们不仅检索，还编辑输出以修正不实内容。这些方法在事实性任务中表现良好，但需注意检索质量与编辑的平衡，避免过度修改导致信息丢失。
模型校准与未知知识处理
文章强调，模型应能承认不知道答案。TruthfulQA和SelfAware基准测试评估模型在不可回答问题上的表现。Kadavath等人发现，LLM在答案正确性估计上校准良好，但RLHF微调会降低校准。因此，在部署时需关注模型置信度，避免过度自信导致幻觉。
Q&A
大型语言模型中的幻觉是什么？
大型语言模型中的幻觉是指生成的不忠实、捏造、不一致或无意义的内容。
幻觉的主要原因是什么？
幻觉的原因包括预训练数据问题和微调新知识。
如何检测大型语言模型中的幻觉？
幻觉检测方法包括FactualityPrompt、FacTool和SelfCheckGPT。
有哪些方法可以改进大型语言模型以减少幻觉？
改进模型的方法有RAG、FLAME和Factuality tuning。
上下文幻觉和外部幻觉有什么区别？
上下文幻觉是指模型输出与上下文不一致，而外部幻觉是指模型输出未能基于预训练数据的真实信息。
大型语言模型在面对未知问题时应该如何反应？
模型在面对不可回答的问题时应拒绝回答或提供相关信息。
