本研究探讨了人机协作中的深度强化学习技术，提出了异构代理镜像学习（HAML）和基于偏好的强化学习（PbRL）等框架和算法，以提高协作效率和稳定性。研究表明，通过引入人类反馈和动态调整目标，这些方法在复杂任务中显著提升了表现，为未来的多智能体系统奠定了理论基础。

本文综述基于偏好的强化学习（PbRL）研究进展，涵盖奖励模型初始化、状态增强、离线学习、人机协作多智能体及主动查询教师偏好等方法，旨在减少人类反馈需求、提升样本效率与策略性能，并在运动、机器人操作等任务中验证有效性。

本文综述基于偏好的强化学习（PbRL）的多项进展：提出数据驱动奖励初始化以降低性能波动；利用状态增强和二元反馈改进奖励学习；实现零样本跨任务偏好迁移；构建B-Pref基准；DIP-RL借助人类示范引导Minecraft任务；RP1将基于模型的强化学习视为主动学习；OPPO无需奖励函数建模离线偏好；PRIOR利用先验约束减少反馈；行动剪辑提升离线学习效率；并探讨多代理人机协作中PbRL的应用空白。