量子位
·
OpenAI翁荔提出大模型「外在幻觉」：万字blog详解抵抗办法、产幻原因和检测方式
💡
原文中文，约9800字，阅读约需24分钟。
📝
内容提要
OpenAI华人科学家翁荔提出了大模型「外在幻觉」问题，讨论了产生幻觉的原因、检测和抵抗方法。幻觉可能与预训练数据集和微调新知识有关，可以通过检索增强评估和基于归因的微调来减少。翁荔负责ChatGPT的开发和模型安全。
🎯
关键要点
- 翁荔提出大模型的外在幻觉问题，分为上下文内幻觉和外在幻觉。
- 上下文内幻觉是模型输出与上下文不一致，外在幻觉是模型输出不基于预训练数据集。
- 幻觉产生的原因包括预训练数据集的问题和微调新知识的影响。
- 预训练数据集可能包含过时或错误的信息，导致模型错误记忆。
- 微调新知识可能增加幻觉的倾向，尤其是当新知识与已有知识不一致时。
- 幻觉检测方法包括检索增强评估和基于采样的检测。
- 检索增强评估使用维基百科作为事实性基础，评估幻觉的指标包括命名实体错误率和蕴含比率。
- 抵抗幻觉的方法包括检索外部知识、特殊采样方法和对齐微调。
- RAG和FAVA是通过检索和编辑来减少幻觉的框架。
- CoVe方法通过动作链进行验证和修订，以减少幻觉。
- 翁荔是OpenAI的华人科学家，负责ChatGPT的开发和模型安全。
➡️
