该研究提出了一种新的强化学习方法，利用人类偏好数据训练语言模型，并引入了Token-Level Continuous Reward (TLCR)来解决序列级别和token级别之间的差异。实验证明，TLCR在开放性生成基准测试中相对于先前的奖励方法有一致的性能提升。

我们提出了高效路由器模型，通过动态选择语言模型实现成本和响应质量的平衡。通过人类偏好数据和数据增强技术，我们开发了训练框架提高性能。评估结果显示，我们的方法显著降低成本，且不影响响应质量。路由器模型展示了迁移学习能力，保持性能。这为部署大型语言模型提供了成本效益和高性能的解决方案。