Lil'Log
·
大型语言模型中的外部幻觉
💡
原文英文，约6300词，阅读约需23分钟。
📝
内容提要
大型语言模型中的幻觉是指生成的不忠实、捏造、不一致或无意义的内容。幻觉问题分为上下文幻觉和外部幻觉。为避免幻觉，需要确保模型输出真实，并承认不知道答案。幻觉的原因包括预训练数据问题和微调新知识。幻觉检测方法有FactualityPrompt、FacTool和SelfCheckGPT。改进模型的方法有RAG、FLAME和Factuality tuning。
🎯
关键要点
- 大型语言模型中的幻觉是指生成的不忠实、捏造、不一致或无意义的内容。
- 幻觉问题分为上下文幻觉和外部幻觉。
- 避免幻觉需要确保模型输出真实，并承认不知道答案。
- 幻觉的原因包括预训练数据问题和微调新知识。
- 幻觉检测方法有FactualityPrompt、FacTool和SelfCheckGPT。
- 改进模型的方法有RAG、FLAME和Factuality tuning。
- 预训练数据的体量庞大，可能包含过时或错误的信息。
- 微调阶段引入新知识可能导致幻觉的增加。
- Gekhman等人发现微调新知识的例子学习速度较慢，且增加了幻觉的倾向。
- 幻觉检测的FactualityPrompt基于维基百科文档进行评估。
- FacTool通过提取可验证的声明并查询外部工具来检测事实错误。
- SelfCheckGPT通过对多个样本进行一致性检查来检测幻觉。
- TruthfulQA和SelfAware基准测试用于评估模型在面对未知问题时的真实反应能力。
- 模型在面对不可回答的问题时应拒绝回答或提供相关信息。
- Kadavath等人的研究表明，LLM在多项选择题的答案正确性估计上表现良好。
- RAG方法通过检索相关文档来提供支持信息，减少幻觉。
- Chain-of-Verification方法通过一系列步骤进行验证和修正，减少幻觉。
- RECITE方法利用回忆作为中间步骤来提高生成的事实正确性。
- Lee等人提出的factual-nucleus采样算法旨在提高生成的事实准确性。
- WebGPT和GopherCite通过网络搜索和引用来提高生成内容的准确性。
- FLAME和Factuality tuning通过微调语言模型来提高事实准确性。
➡️
