InfoQ
·
OpenAI研究探讨大型语言模型幻觉的成因及潜在解决方案
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
OpenAI的研究表明，大型语言模型（LLMs）产生幻觉的原因在于训练和评估方法偏向于猜测而非承认不确定性。研究者建议重新评估模型的方法，增加对自信错误的惩罚，以鼓励模型适当表达不确定性。尽管有成功案例，幻觉的定义仍存在争议。
🎯
关键要点
- OpenAI研究表明，大型语言模型（LLMs）产生幻觉的原因在于训练和评估方法偏向于猜测而非承认不确定性。
- 幻觉源于预训练阶段的错误，模型无法区分错误陈述和事实，因为只接触到正面示例。
- 评估方法优先考虑准确性，惩罚不确定性或放弃，导致模型学习猜测以最大化准确性。
- 现有评估方法惩罚不确定性，导致模型在猜测时表现更好。
- 研究者建议重新评估模型的方法，增加对自信错误的惩罚，以鼓励模型适当表达不确定性。
- OpenAI在GPT-5-thinking-mini中成功降低了幻觉率，但这也意味着超过一半的回答可能是'我不知道'。
- 尽管OpenAI对避免幻觉充满信心，但对幻觉的定义仍存在争议。
- 一些批评者认为将LLM错误称为幻觉是出于市场动机，强调应回归其作为预测模型的本质。
- Rebecca Parsons认为LLM的幻觉不是缺陷，而是一种特性，某些幻觉是有用的。
- Gary Marcus强调，LLMs模仿人类语言结构，但对现实没有理解，无法进行事实核查。
❓
延伸问答
大型语言模型产生幻觉的主要原因是什么？
大型语言模型产生幻觉的主要原因是训练和评估方法偏向于猜测而非承认不确定性。
如何减少大型语言模型的幻觉？
减少幻觉的方法包括重新评估模型的评估方法，增加对自信错误的惩罚，以鼓励模型适当表达不确定性。
OpenAI在减少幻觉方面取得了哪些成功？
OpenAI在GPT-5-thinking-mini中成功将幻觉率从75%降低到26%。
对大型语言模型幻觉的定义存在哪些争议？
对幻觉的定义存在争议，部分批评者认为将LLM错误称为幻觉是出于市场动机，强调应回归其作为预测模型的本质。
Rebecca Parsons对LLM幻觉的看法是什么？
Rebecca Parsons认为LLM的幻觉不是缺陷，而是一种特性，某些幻觉是有用的。
现有的评估方法如何影响大型语言模型的表现？
现有评估方法优先考虑准确性，惩罚不确定性，导致模型学习猜测以最大化准确性。
➡️
