老婆饼里没有老婆，RLHF里也没有真正的RL
💡
原文中文，约6700字，阅读约需16分钟。
📝
内容提要
RLHF（基于人类反馈的强化学习）并未为大型语言模型（LLM）提供真正的强化学习，因为缺乏持续的环境交互和长期目标追求。RLHF主要通过单步优化调整模型输出，缺乏实时反馈和动态策略更新。尽管RLHF能改善模型对齐性，但LLM仍然是基于上下文预测的统计系统，缺乏内在目标和意图。
🎯
关键要点
- RLHF（基于人类反馈的强化学习）未能为大型语言模型（LLM）提供真正的强化学习。
- RLHF缺乏持续的环境交互和长期目标追求，主要通过单步优化调整模型输出。
- 尽管RLHF能改善模型对齐性，但LLM仍然是基于上下文预测的统计系统，缺乏内在目标和意图。
- RLHF与经典强化学习的主要区别在于缺乏长期累积奖励的最大化。
- RLHF通常是离线或半离线进行的，缺乏实时反馈和动态策略更新。
- RLHF的强化步骤更像是一种一步式策略梯度优化，而非在动态环境中进行的全面循环。
- RLHF的奖励模型基于静态人类偏好数据，而非动态环境中的长期目标。
- 多智能体工作流并未赋予LLM内在目标，仍然是基于下一个token的概率生成文本。
- 使用RLHF或DPO等方法的主要原因是成本低且性能已足够好。
- 最接近给LLM一个目标的方法是使用提示工程或多个LLM的协调工作流。
- LLM缺乏真正目标的后果包括简化的对齐和更难委派开放式任务。
- 未来希望LLM拥有真正的RL需要大量资源和精心设计的环境。
- 从业者和政策制定者应意识到LLM的局限性，避免高估其自主性。
➡️
