OpenAI
·
为什么语言模型会产生幻觉
内容提要
OpenAI正在努力减少语言模型中的幻觉现象，即模型自信生成不真实答案的情况。研究表明，现有评估方法鼓励猜测而非承认不确定性。尽管GPT-5的幻觉现象有所减少，但仍然存在。改进评估标准，惩罚错误答案并对不确定性表达给予部分分数，有助于降低幻觉率。
关键要点
-
OpenAI正在努力减少语言模型中的幻觉现象，即模型自信生成不真实答案的情况。
-
研究表明，现有评估方法鼓励猜测而非承认不确定性。
-
尽管GPT-5的幻觉现象有所减少，但仍然存在。
-
幻觉是语言模型生成的看似合理但实际上错误的陈述。
-
当前评估方法设置了错误的激励机制，导致模型倾向于猜测而非承认不知道。
-
建议改进评估标准，惩罚错误答案并对不确定性表达给予部分分数。
-
幻觉的产生与语言模型的下一个词预测机制有关，缺乏标记的负样本使得模型难以区分有效和无效的陈述。
-
准确性永远无法达到100%，因为某些现实问题本质上是无法回答的。
-
小模型在面对不确定性时可以更容易地选择不回答，而大模型则需要评估其信心。
-
需要重新设计主要评估指标，以奖励不确定性的表达，减少幻觉现象。
延伸解读
幻觉现象的根源
语言模型的幻觉现象源于其下一个词预测机制。模型在训练过程中缺乏负样本的标记，导致其难以区分有效与无效的陈述。这种机制使得模型在面对不确定性时，倾向于生成看似合理但实际上错误的答案。
评估标准的影响
当前的评估方法鼓励模型在不确定时进行猜测，而非承认不知道。这种激励机制导致模型在准确性上表现良好，但同时增加了错误答案的比例。改进评估标准，惩罚错误答案并对不确定性表达给予部分分数，将有助于降低幻觉现象。
小模型的优势
小模型在面对不确定性时，能够更容易地选择不回答，而大模型则需要评估其信心。这表明，小模型在某些情况下可能更具谦逊性，能够避免生成错误信息，从而在处理复杂问题时表现出更高的可靠性。
延伸问答
什么是语言模型的幻觉现象？
幻觉是语言模型生成的看似合理但实际上错误的陈述。
OpenAI如何减少语言模型中的幻觉现象？
OpenAI正在改进评估标准，惩罚错误答案并对不确定性表达给予部分分数，以降低幻觉率。
为什么现有的评估方法会导致语言模型产生幻觉？
现有评估方法鼓励模型猜测而非承认不确定性，从而导致幻觉现象的产生。
GPT-5的幻觉现象相比之前的模型有何变化？
GPT-5的幻觉现象有所减少，但仍然存在。
语言模型的幻觉现象与下一个词预测机制有什么关系？
幻觉的产生与语言模型的下一个词预测机制有关，缺乏标记的负样本使得模型难以区分有效和无效的陈述。
如何重新设计评估指标以减少幻觉现象？
需要惩罚自信错误的程度高于惩罚不确定性，并对适当表达不确定性给予部分分数。
