AgentENV：当大语言模型学会完成任务，我们开源其背后的基础设施
内容提要
清华大学MADSys实验室与Moonshot AI开源AgentENV，一种面向大规模Agentic RL的智能体执行环境基础设施。它基于Firecracker微VM，通过按需加载、增量快照、写时复制等技术，降低环境成本88.6%–96.8%，支持高并发与强隔离，已用于Kimi K3等模型训练，旨在提升智能体任务完成能力。
延伸解读
成本优势的量化依据
文章给出了具体的成本对比：在典型配置下，AgentENV的月成本约¥15,300，而按资源请求量或长期预留计费的方案成本是其8.8至31.7倍。这一估算基于70个节点、约22.5万个执行环境的生产数据，并假设了特定的资源分配与使用率。实际成本会因任务活跃度、内存写入量、环境规格和云平台定价而异，但趋势表明，按实际用量计费比按创建数量计费更经济。
隔离性对训练信号的影响
文章强调，奖励驱动的智能体可能尝试逃逸执行边界、访问隐藏服务或篡改评估逻辑，这些行为虽能获得更高奖励，却会污染训练信号。因此，强隔离不仅是安全需求，更是保证强化学习训练质量的基础。AgentENV基于Firecracker微VM提供独立安全边界，防止智能体相互干扰或影响宿主，从而确保训练数据的可靠性。
资源分配与使用的差距
文章引入“资源分配与使用比”概念，指出AgentENV在真实生产中的CPU分配/使用比平均为27.9倍，内存为9.6倍。这意味着大量资源在等待模型推理时处于闲置状态。AgentENV通过快速暂停/恢复、内存回收和状态共享，将闲置资源转化为成本优势，而非简单增加物理资源。这为大规模Agentic RL的部署密度和成本控制提供了新思路。
Q&A
AgentENV是什么？它由谁开源？
AgentENV（AENV）是一个面向大规模Agentic RL的智能体执行环境基础设施，由清华大学MADSys实验室与Moonshot AI联合开源。它基于Firecracker微VM，提供强隔离、高并发和低成本的执行环境，已用于Kimi K3等模型的Agentic RL训练。
AgentENV相比传统方案能降低多少环境成本？
在典型工作负载下，AgentENV可将智能体执行环境的成本降低88.6%–96.8%。
Agentic RL与传统强化学习有何不同？为什么需要新的基础设施？
Agentic RL不再局限于Python函数或静态模拟器中的奖励计算，而是让智能体在真实软件环境中执行任务，如读写代码、安装依赖、启动服务、与数据库交互等。因此，每个训练运行都需要真实、完整且独立的执行环境，要求基础设施具备强隔离、可扩展性和高效率，以支持大规模并发环境并防止智能体逃逸或作弊。
AgentENV如何实现低成本和高并发？
AgentENV通过按需镜像加载、增量快照、写时复制、内存和存储复用以及弹性生命周期管理，实现了低成本和高并发。它能在空闲时释放CPU和内存，快速暂停和恢复环境，并通过共享只读层和内存快照减少资源占用。在典型配置下，单节点可运行400个并发环境，集群已扩展到30,000个环境。
AgentENV如何保证智能体训练的安全性？
AgentENV使用Firecracker微VM提供强隔离，为每个智能体创建独立的安全边界，防止其影响宿主机或其他训练任务。这避免了奖励驱动的智能体尝试逃逸、访问隐藏服务或修改评估逻辑等行为，确保训练信号的可靠性。
AgentENV支持哪些镜像格式？如何管理大量异构环境？
AgentENV兼容OCI镜像生态系统，通过OverlayBD从远程对象存储或文件系统按需加载镜像，本地磁盘仅作为热数据缓存。这使得集群可用的镜像和模板总数可以超过单节点磁盘容量，无需在每个主机上预置所有镜像，从而高效管理大量代码仓库、依赖版本和工具链。
AgentENV的增量快照和写时复制有什么作用？
增量快照只记录内存和文件系统的变化，避免每次保存状态时复制整个虚拟机，快照可持久化到S3或分布式文件系统，防止节点故障导致状态丢失。写时复制允许从同一中间状态分叉出多个独立环境，支持并行尝试不同的工具调用或代码修改，为多轨迹采样和树搜索提供高效基础。
AgentENV在真实生产中的资源利用率如何？
根据70个节点、约22.5万个执行环境的高负载期数据分析，CPU分配-使用比平均为27.9倍（最低14.5倍），内存分配-使用比平均为9.6倍（最低5.7倍）。这表明AgentENV能有效利用空闲资源，使成本更接近实际使用量。
AgentENV的成本估算示例是怎样的？
以300个4 vCPU/8GB环境连续运行720小时为例，基于最低资源分配-使用比，AgentENV的月成本约¥15,300，而按请求资源计费或长期预留的方案成本是AgentENV的8.8到31.7倍。实际成本会因任务负载、内存写入、环境规格和云平台定价而异。
