内容提要
SGLang与AWS合作推出基于TorchNeuron构建的Trainium插件测试版,支持在Trainium2/3上进行大模型推理服务和强化学习rollout生成,已支持Qwen3、DeepSeek-V2-Lite、GLM等模型及数据/张量/专家并行、Radix缓存、FP8等功能。该插件还支持异构RL:rollout在Trainium运行,策略训练在GPU上进行,提升资源规划灵活性。测试版目前限量开放申请。
延伸解读
TorchNeuron 降低迁移门槛
SGLang 的 Trainium 插件基于 AWS 原生 PyTorch 后端 TorchNeuron 构建,因此模型组件和核心抽象能基本原样迁移。开发者可使用与 GPU 相同的接口在 Trainium 上服务模型,在 GPU 与 Trainium 之间移动工作负载只需极少改动。对于需要底层性能优化的场景,还能通过 NKI 在 PyTorch 工作流中编写自定义 Trainium 内核,兼顾熟悉度与硬件控制。
异构 RL 的实用价值
该插件支持将 RL 训练的两个阶段拆分到不同硬件:rollout 生成在 Trainium 上运行,策略更新在 GPU 上进行。首次端到端运行中,SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout,Miles 则在单台 H200 节点上用 Megatron 训练 GRPO 策略。这种配置让团队能按各阶段性价比选择硬件,并独立扩展 rollout 容量,而不必受限于 GPU 训练集群规模。
测试版覆盖范围与限制
测试版面向 Trainium2 和 Trainium3,支持 LLM 推理服务与 RL rollout 生成。已覆盖 Qwen3 稠密版、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 及 GLM-5.2/5.3 等模型,并提供数据/张量/专家并行、Radix 缓存、BF16/FP8 和异步调度器。不过目前为限量申请,模型与功能将在测试期内逐步扩展,更广泛的可用性计划于今年晚些时候推出。
Q&A
SGLang Trainium 插件是什么?它支持哪些主要功能?
SGLang Trainium 插件是 SGLang 与 AWS 合作推出的测试版,基于 TorchNeuron 构建,支持在 Trainium2/3 上进行大模型推理服务和强化学习 rollout 生成。已支持 Qwen3、DeepSeek-V2-Lite、GLM 等模型,以及数据/张量/专家并行、Radix 缓存、BF16/FP8、异步调度等功能。
为什么 SGLang 选择基于 TorchNeuron 构建 Trainium 后端?
因为 TorchNeuron 是 AWS 原生的 PyTorch 后端,SGLang 的模型组件和核心抽象能基本原样迁移到 Trainium,开发者可以使用与 GPU 相同的接口,以最小改动在 GPU 和 Trainium 之间迁移工作负载。此外,NKI 允许在 PyTorch 工作流中编写自定义 Trainium 内核,兼顾编程熟悉度和底层硬件控制。
什么是异构 RL?SGLang Trainium 插件如何支持它?
异构 RL 是指将 RL 训练中的 rollout 生成和策略更新两个阶段放在不同硬件上运行。SGLang Trainium 插件允许 rollout 在 Trainium 上运行,而策略训练在 GPU 上进行。例如,首次端到端运行中,SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout,Miles 在单个 H200 节点上用 Megatron 训练 GRPO 策略。
SGLang Trainium 插件测试版目前支持哪些模型和特性?
测试版支持的模型包括 Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 和 GLM-5.2/5.3,更多大型前沿模型正在支持中。特性包括数据并行/张量并行/专家并行、Radix 缓存、BF16/FP8 和异步调度。
如何申请 SGLang Trainium 插件测试版?适合哪些团队?
测试版目前限量开放,需联系申请。适合计划在 Trainium2 或 Trainium3 上运行 LLM 推理的团队,以及对异构 RL(rollout 在 Trainium、训练在 GPU)感兴趣的团队。
SGLang Trainium 插件对 RL 容量规划有什么好处?
该插件让团队可以根据每个阶段的性价比选择硬件,并且 Trainium 上的 rollout 容量可以独立于 GPU 训练规模进行扩展,从而在 RL 容量规划上获得更大的灵活性。