💡
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
自我反思对模型性能的提升有限。研究表明，DeepSeek-R1-Zero通过强化学习实现了“顿悟”，但自我反思并不总能提高答案的准确性，肤浅自我反思（SSR）可能导致错误答案。模型在训练初期就能表现出自我反思，但并非所有反思都是有效的。
🎯
关键要点
- 自我反思对模型性能的提升有限，肤浅自我反思可能导致错误答案。
- DeepSeek-R1-Zero通过强化学习实现了顿悟，模型在训练初期就能表现出自我反思。
- 研究发现，顿悟时刻可能在基础模型的epoch 0出现，而非后期训练。
- 肤浅自我反思（SSR）缺乏建设性修改，不一定能带来更好的答案。
- 案例研究显示，模型的自我反思行为有时会引入错误或未能得出有效答案。
- 基础模型容易产生肤浅的自我反思，且大多数自我反思与正确答案无关。
- 模型响应长度的增加并不总是与自我反思相关，可能是训练动态的结果。
- 在训练初期，模型输出长度减少，随后在某个点激增，可能与奖励塑造有关。
➡️
