【大模型基础设施工程·特别篇】33:RLVR 与 Agentic 后训练基础设施实战

【大模型基础设施工程·特别篇】33:RLVR 与 Agentic 后训练基础设施实战

💡 原文中文,约33900字,阅读约需81分钟。
📝

内容提要

文章讨论长思维链RLVR与多轮Agentic后训练的系统工程。同步RL在16K–128K重尾轨迹下利用率骤降,并发256时仅16.2%,64K帕累托重尾低至7.6%。架构从共卡同步(veRL、slime)演进到异步解耦流式(AReaL、StreamRL、PipelineRL)。FP8推理与BF16训练的数值失配即使零陈旧度也会隐式离策略,需TIS、DAPO、GSPO、R3修正。验证器需突发隔离沙箱与分级超时;多轮需跨轮KV复用、增量分词与loss_mask=0。最后给出选型决策与上线前核查。

🔎

延伸解读

长尾轨迹如何拖垮同步RL:利用率量化与调度选择

文章用分析模型量化了同步屏障的代价:在32K截断对数正态分布下,并发256时槽位利用率仅16.2%;64K帕累托重尾下低至7.6%。这意味着扩大并发并不能提升吞吐,反而让更多GPU空等极少数长轨迹。工程上应优先考虑Partial Rollout分段中断或异步解耦流式架构,而非单纯堆卡。但需注意这些数字来自分析模型而非实测集群,实际选型前应结合自身长度分布做数值积分验证。

零陈旧度不等于同策略:FP8推理与BF16训练的隐式偏差

即使权重同步且陈旧度为零,推理引擎的FP8 GEMM、FP8 KV Cache与训练端BF16前向之间仍存在数值失配。文章指出,这种微小差异在长序列上指数累积,16384步长下序列概率比可膨胀至1.7e14量级;MoE模型更可能因门控分数接近而出现专家路由翻转。因此生产栈需落盘真实rollout_logprobs并启用TIS截断,MoE场景可叠加R3路由回放或GSPO序列级优化,不能假设同步执行就自动同策略。

多轮Agentic RL的两个硬不变量:增量分词与loss_mask

多轮轨迹若在训练端整段重分词,BPE跨轮边界合并会改变token序列,导致与采样时的rollout_logprobs错位。文章用玩具示例展示了助手输出末尾与环境前缀换行合并成单token、连带改变后续角色标签ID的情况。正确做法是推理引擎采样出多少token ID就原样记录,环境观测单独增量编码追加,并逐token维护loss_mask:仅模型自主生成段为1,系统提示、工具返回与padding严格为0。上线前应逐位核对token_id、decoded_str与mask。

验证器故障必须与策略错答分离

代码沙箱在训练波次收尾时面临突发并发,若因节点磁盘打满、镜像拉取超时或队列过载返回执行异常,直接映射为reward=0会向GRPO组内注入错误负优势。文章建议返回显式infra_error状态码,有限次指数退避重试,仍失败则剔除该样本不参与本步梯度更新并触发告警。同时应对题库做多次无修改空跑,将不可复现通过的脆弱测试打入隔离池,避免环境随机噪声持续牵引梯度。

❓

Q&A

为什么同步RL在长思维链任务下GPU利用率会大幅下降?

长思维链任务输出长度呈重尾分布,少数极长轨迹(如32K-64K token)会拖慢整个同步批次。在全局同步屏障下,批次耗时由最长轨迹决定,导致大量GPU槽位空等。分析模型显示,并发256时利用率仅16.2%,64K帕累托重尾下低至7.6%。

RLVR训练中,即使同步执行(零陈旧度),为什么还会出现离策略(off-policy)问题?

因为推理引擎(如vLLM/SGLang)使用FP8量化与不同的浮点归约顺序,而训练引擎使用BF16/FP32,导致同一权重下推理分布与训练重算分布存在微小差异。在长序列上累积后,尤其MoE模型路由翻转时,会造成显著的概率偏差,使训练隐式变为离策略。

有哪些算法可以修正RLVR训练中的训推数值失配和异步版本滞后?

常用修正机制包括:TIS(截断重要性采样)逐token截断重要性比值;DAPO(非对称裁剪、动态采样、token级归一化、软长度惩罚);GSPO(序列级几何平均比值与裁剪);R3(路由回放对齐MoE专家选择);以及Decoupled PPO(分离行为策略与近端策略)处理异步陈旧度。

多轮Agentic RL中,如何避免重复计算前缀KV并确保训练损失掩码正确?

应使用跨轮KV复用(如SGLang RadixAttention)仅对新增观测做增量prefill,并采用增量分词(delta tokenization)避免重分词边界漂移。同时,对模型生成的token设置loss_mask=1,对环境观测和系统提示设置loss_mask=0,确保仅对策略生成部分计算损失。

验证器沙箱在RLVR训练中面临哪些工程挑战,如何设计高可用验证舰队?

挑战包括:数学验证的SymPy解析超时DoS、代码沙箱的突发并发压力、故障隔离与防作弊。设计上需采用分级超时与进程树收割、异步消息队列与预热容器池、严格区分infra_error与策略错答、以及流式触发验证避免尾段气泡。

如何根据任务和模型规模选择RLVR训练架构?

决策路径:若长尾不超过4K且单轮,可选同步共卡方案(如veRL);若长尾≥16K或多轮工具调用,则选异步解耦流式(如AReaL/PipelineRL)或Megatron+SGLang栈(如slime)。同时根据是否使用FP8推理或高陈旧度,启用TIS+DAPO/GSPO等修正。

🏷️

标签

➡️

继续阅读