Nebius 将 rollout 收集时间缩短了 66.9%——改变在哪里
内容提要
Nebius专家Jin指出，AI智能体强化学习后训练中推理常成瓶颈。应将推理引擎视为优化器的一部分，以“可训练批次时间”衡量效率，管理策略滞后而非追求零滞后。数据与环境占大部分工作，需可复现环境、可靠验证器及难度适中的任务。基础设施决定迭代速度，应独立扩展CPU与沙箱容量，避免昂贵GPU等待廉价容器。
延伸解读
从“吞吐量”到“可训练批次时间”
文章指出，平均每秒 token 数会掩盖长尾轨迹的影响：同步批次必须等最慢的轨迹完成才能更新。因此，Jin 建议将推理引擎视为后训练强化学习优化器的一部分，并以“可训练批次时间”作为核心效率指标。这意味着团队应关注从生成到可训练批次的端到端延迟，而非仅看推理吞吐。
策略滞后：管理而非消除
文章强调，完全同步的 RL 会让推理 GPU 和训练 GPU 相互等待。允许生成使用稍旧的权重可以重叠生成与训练，提升利用率。但滞后是否安全取决于策略漂移程度，而非固定步数。应通过重要性采样修正、丢弃或降权超阈值样本、跟踪策略间散度来管理滞后。Jin 的结论是：“滞后不是敌人，未测量的滞后才是。”
环境与验证器：RL 后训练的主要工作量
Jin 认为，在成功的 RL 后训练中，数据和环境占据大部分工作，算法设计反而最小。智能体 RL 需要可复现的容器、代码库、网站和 API，以及可靠的验证器和难度适中的任务。随着模型提升，任务集需刷新以避免饱和。文章还提醒，训练器、推理引擎、沙箱和验证器的接口处易出故障，应记录每回合结束原因，并将基础设施故障排除在策略梯度更新之外。
66.9% 的改进来自哪里，又意味着什么
Nebius 在基于 Terminal-Bench 的工作负载上，通过调整路由、沙箱执行和批次组装，将 256 条轨迹的固定权重收集时间缩短了 66.9%。但文章明确，该指标仅测量批次收集，不包括训练器的前向、反向和优化器工作，因此不代表完整训练速度。其启示是：昂贵 GPU 常等待廉价容器，应独立扩展 CPU 和沙箱容量，并让沙箱与 GPU 同网络以降低工具调用延迟。
Q&A
Nebius 是如何将 rollout 收集时间缩短 66.9% 的？
Nebius 在基于 Terminal-Bench 的工作负载实验中，通过改进路由（让对话靠近缓存历史以避免重复预填充）、沙箱执行和批次组装，将 256 条轨迹批次的固定权重收集时间减少了 66.9%。该测量仅涵盖批次收集，不包括训练器的前向、反向和优化器工作。
为什么在 AI 智能体强化学习后训练中，推理会成为瓶颈？
因为 rollout 生成通常占据训练步骤的大部分实际时间，智能体需要尝试任务并产生结果后模型才能学习。同步批次中，训练 GPU 必须等待最慢的轨迹完成，导致昂贵 GPU 长时间空闲等待廉价容器等非 GPU 依赖。
策略滞后（policy lag）在强化学习训练中应该如何处理？
不应追求零滞后，而应测量和管理滞后。允许生成使用稍旧的权重可以让生成与训练并行，提高 GPU 利用率；但滞后过大有害。可通过重要性采样校正（通常截断以限制方差）、丢弃或降权超过阈值的样本、跟踪生成策略与当前策略的发散度来管理。关键原则是“滞后不是敌人，未测量的滞后才是”。
在智能体强化学习中，数据与环境建设为什么比算法设计更重要？
因为数据与环境占据大部分工作，算法设计只占最小部分。模型实际学到什么由任务、环境和奖励决定。需要可复现的容器、代码库、网站和 API，可靠的验证器，以及难度适中的任务，并随模型提升刷新任务集以避免饱和。Jin 称“构建环境是新的数据管理”。
如何避免智能体训练中基础设施故障污染训练数据？
应记录每个回合的结束原因：模型成功、模型失败、基础设施故障或未知结果。将基础设施故障导致的失败从策略梯度更新中排除；但模型自身行为导致的失败（如触发超时）仍应计为模型失败，防止模型通过引发错误来逃避惩罚。
对于 GRPO 风格的训练，应该如何调度批次以提高效率？
应围绕组完成而非启动顺序进行调度。一个组的所有兄弟尝试完成后进入就绪池，训练器从就绪池中取用完整的组，无论其启动时间。这样可避免等待个别慢轨迹，以“可训练批次时间”作为核心指标。
如何减少昂贵 GPU 等待廉价容器的时间？
独立于 GPU 扩展 CPU 和沙箱容量并慷慨配置，因为空闲容器成本较低；保持沙箱就绪，使用快照和 fork 方法将环境启动移出关键路径；尽可能将沙箱与 GPU 放在同一网络结构上以减少工具调用延迟；设置每步超时和预算；跟踪 GPU 等待环境的时间。
rollout 引擎和训练器之间的数值不一致会有什么影响，如何解决？
即使从相同权重开始，量化、内核、批处理和专家路由等可能导致同一 token 的概率不同，引入系统性偏差。建议先对齐数值，再测量和校正剩余不匹配，例如匹配量化方案和计算，同时为优化保留更高精度权重；重要性采样校正可处理残余差异，但不能仅靠裁剪解决所有不匹配。评估应使用最终服务的精度、引擎和版本。
