量子位
·
性能提升84%-166%！L-Zero仅靠强化学习解锁大模型探索世界的能力 | 已开源
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
L-Zero通过可验证奖励的强化学习（RLVR）实现了模型的自主进化，增强了探索、验证和记忆能力。研究团队构建了端到端的智能体训练系统L0，并提出了结构化智能体框架NB-Agent，显著提升了模型在多项基准测试中的表现，展示了向更高级通用智能发展的潜力。
🎯
关键要点
- L-Zero通过可验证奖励的强化学习（RLVR）实现了模型的自主进化，增强了探索、验证和记忆能力。
- 研究团队构建了端到端的智能体训练系统L0，并提出了结构化智能体框架NB-Agent。
- NB-Agent在经典的'代码即行动'架构基础上扩展，赋予智能体类人类的记忆存储和自我反思能力。
- L0系统采用端到端强化学习，重新定义动作粒度，并提出Agentic Policy Gradient算法。
- L0在多个基准测试中显著提升了模型性能，展示了向更高级通用智能发展的潜力。
- 模型通过学习搜索、规划和记忆行为，展现了比传统规则式Agent更强大的能力。
❓
延伸问答
L-Zero是如何实现模型自主进化的？
L-Zero通过可验证奖励的强化学习（RLVR）实现模型的自主进化，增强了探索、验证和记忆能力。
NB-Agent框架的主要特点是什么？
NB-Agent框架在经典的'代码即行动'架构基础上扩展，赋予智能体类人类的记忆存储和自我反思能力。
L0系统的训练流程是怎样的？
L0系统采用端到端强化学习，重新定义动作粒度，并提出Agentic Policy Gradient算法，构建多维度自动奖励函数。
L-Zero在基准测试中的表现如何？
L-Zero在多个基准测试中显著提升了模型性能，例如在HotpotQA上得分从22%提升至41%。
L-Zero的创新方案解决了什么问题？
L-Zero通过将模型的上下文窗口与Python运行时的变量双向绑定，赋予智能体主动管理自身记忆的能力。
L-Zero与传统规则式Agent相比有什么优势？
L-Zero的模型通过学习搜索、规划和记忆行为，比传统规则式Agent更稳定、更泛化、也更强大。
➡️
