该研究提出自一致偏好优化（ScPO）方法，旨在解决自对齐技术在复杂推理任务中的奖励分配问题。ScPO通过无监督训练提升一致答案的质量，显著改善传统奖励模型的表现。

本文提出了一种改进的深度强化学习算法（DRND），通过随机网络扰动和伪计算来提高奖励分配的准确性和探索过程。该算法在在线周期探索场景和离线任务中表现出更好的性能。