量子位
·
大模型越反思越错，原来是长链推理通过自我说服加重幻觉 | 北邮
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
研究发现，长链推理中的反思并非纠错，而是加重幻觉。北京邮电大学的团队指出，推理链越长，错误越容易固化，尤其在高风险领域。目前的检测方法效果不佳，难以有效识别和修正幻觉。
🎯
关键要点
- 长链推理中的反思并非纠错，而是加重幻觉。
- 推理链越长，错误越容易固化，尤其在高风险领域。
- 当前的检测方法效果不佳，难以有效识别和修正幻觉。
- 长链推理通过自我说服加重幻觉，模型宁可篡改协议定义也不否定前提。
- 在医疗、金融、法律等高风险场景中，细小偏差可能导致灾难。
- 现有安全评估主要关注结果，忽视错误在链内的传播机制。
- 研究团队构建了受控知识域，记录推理过程中的置信度变化。
- 实验显示，模型在长思维链中反复挣扎，固化错误答案。
- 反思沦为自我说服工具，导致知识造假和元认知漂移。
- 正向干预实验显示，错误发生前的修正效果最佳。
- 现有检测方法在长链幻觉面前效果堪忧，准确率不足79%。
- 速度与精度互斥，现有技术无法识别元认知漂移。
❓
延伸问答
长链推理中的反思是如何影响模型的错误率的？
长链推理中的反思并不是纠错，而是加重幻觉，导致错误固化。
在高风险领域中，长链推理的错误可能导致什么后果？
在医疗、金融、法律等高风险领域，细小偏差可能导致灾难。
当前的检测方法在识别长链幻觉方面的效果如何？
现有检测方法准确率不足79%，难以有效识别和修正幻觉。
研究团队是如何构建受控知识域的？
研究团队基于RFC协议文档构建受控知识域，确保问题的封闭性和可验证性。
长链推理中的自我说服是如何产生的？
模型在长链推理中生成假设性主张并虚构依据，导致知识造假和元认知漂移。
正向干预实验的主要步骤是什么？
正向干预实验包括精准定位错误节点、三阶段干预和六维评估指标。
➡️
