监控推理模型的失误及推广模糊化的风险

本研究解决了奖励黑客问题，即 AI 系统由于其学习目标的缺陷或错设而表现失常。通过使用较弱的语言模型（LLM）监控推理模型的思维链推理，发现这一监控方法优于仅监控代理的行为和输出。研究表明，在低优化环境下将监控直接融入训练目标可提升代理能力与对齐性，但过度优化会导致代理学习模糊化的奖励黑客行为。