本研究探讨了过程奖励模型(PRM)在强化微调中的奖励黑客问题，提出了PURE方法，通过最小化信用分配来减轻奖励黑客现象。实验证明，该方法的推理表现与传统方法相当，并降低了训练失败的风险。

翁荔在离职OpenAI后，发表长文探讨强化学习中的奖励黑客问题，强调其对自主AI模型应用的影响，并呼吁更多研究关注此现象。她指出，奖励黑客源于环境设计缺陷和奖励函数不完善，可能导致AI行为偏离预期。文章还讨论了缓解措施，强调改进算法和检测奖励黑客的重要性。