Curiosity-Driven Reinforcement Learning Based on Human Feedback

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种好奇心驱动的强化学习框架(CD-RLHF),旨在解决人类反馈强化学习中输出多样性降低的问题。实验结果表明,CD-RLHF在多个任务上显著提升了输出多样性,同时与人类偏好的对齐效果相当。

🎯

关键要点

  • 本研究提出了一种好奇心驱动的强化学习框架(CD-RLHF)。
  • CD-RLHF旨在解决人类反馈强化学习中输出多样性降低的问题。
  • 该框架结合了内在奖励与传统稀疏外在奖励,以优化输出的多样性和对人类偏好的对齐质量。
  • 实验结果表明,CD-RLHF在多个任务上显著提高了输出多样性。
  • CD-RLHF与人类偏好的对齐效果媲美标准RLHF。
➡️

继续阅读