本文综述基于偏好的强化学习（PbRL）的多项进展：提出数据驱动奖励初始化以降低性能波动；利用状态增强和二元反馈改进奖励学习；实现零样本跨任务偏好迁移；构建B-Pref基准；DIP-RL借助人类示范引导Minecraft任务；RP1将基于模型的强化学习视为主动学习；OPPO无需奖励函数建模离线偏好；PRIOR利用先验约束减少反馈；行动剪辑提升离线学习效率；并探讨多代理人机协作中PbRL的应用空白。