RLHF不够用了，OpenAI设计出了新的奖励机制
内容提要
OpenAI公布了一种名为基于规则的奖励（RBR）的新方法，用于教导AI模型遵守安全政策。RBR根据一组安全规则提供信号，使其更容易适应不断变化的安全政策，而无需严重依赖人类数据。实验显示，经过RBR训练的模型表现出与经过人类反馈训练的模型相当的安全性能，并减少了过度拒绝安全请求的情况。RBR的局限性在于在更主观的任务中应用可能会有些棘手，但可以与人类反馈结合使用以平衡这些挑战。OpenAI计划进行更广泛的研究，以验证RBR在其他领域的有效性。
延伸解读
RBR 与 RLHF 的互补关系
RBR 并非要完全取代 RLHF，而是作为其补充。文章指出，RBR 可以与人类反馈结合使用，以平衡主观任务中的挑战。例如，RBR 可以强制执行特定准则（如“不要使用俚语”），而人类反馈则处理整体连贯性等更细微的方面。这种结合方式既能发挥规则的高效性，又能保留人类判断的灵活性。
RBR 的潜在风险与伦理考量
将安全检查从人类转移到 AI 可能减少人工监督，并可能放大偏见。如果用于提供 RBR 奖励的模型本身存在偏见，这些偏见可能被强化。因此，研究人员需要仔细设计 RBR 以确保公平和准确，并考虑结合人类反馈以最小化风险。
RBR 的适用边界与未来方向
RBR 在规则明确的任务中表现良好，但在主观任务（如撰写高质量文章）中应用可能棘手。OpenAI 计划进行更广泛的消融研究，以了解不同 RBR 组件、合成数据规则开发以及人工评估，验证 RBR 在安全以外领域的有效性。
Q&A
什么是基于规则的奖励（RBR）？
基于规则的奖励（RBR）是一种新方法，用于教导AI模型遵守安全政策，通过一组安全规则提供信号，减少对人类数据的依赖。
RBR与传统的强化学习方法有什么不同？
RBR不依赖于大量人类反馈，而是通过定义安全规则来提供奖励信号，使模型更容易适应变化的安全政策。
RBR在安全性方面的表现如何？
经过RBR训练的模型在安全性能上与人类反馈训练的模型相当，并且减少了过度拒绝安全请求的情况。
RBR的局限性是什么？
RBR在主观任务中的应用可能存在挑战，但可以与人类反馈结合使用以平衡这些问题。
OpenAI计划如何进一步研究RBR？
OpenAI计划进行更广泛的研究，以验证RBR在其他领域的有效性，并探索其在不同任务中的应用。
RBR如何减少对人工数据的需求？
RBR通过使用规则而非大量人类反馈来训练模型，从而显著减少对人工数据的需求，使训练过程更快且成本效益更高。
