SGLang 与 Miles 为 Muse Spark Open 提供 Day-0 支持
内容提要
SGLang 为开源多模态 MoE 模型 Muse Spark Open（816B 参数、每 token 约 42B 激活、1M 上下文）提供高效推理支持，通过序列并行、NVFP4 MegaMoE、多模态预处理优化和 DFlash V2 投机解码降低首 token 延迟并提升吞吐，并涵盖内核融合、权重布局兼容等优化及在 NVIDIA、AMD、Intel Xeon 和 TPU 平台的部署与精度结果。
延伸解读
序列并行与 MegaMoE 的协同收益
文章显示，序列并行（SP）将 token 维度切分到各 TP rank，使 pooler、unpooler 和边界归一化不再在每个 rank 上重复处理完整批次。配合 NVFP4 MegaMoE 的 all-to-all 调度与合并，在四卡 GB300 上，SP+MegaMoE 相比纯 TP4 将 p90 首 token 延迟降低 28.3%–41.9%；并发 64 时从 29.03 秒降至 19.47 秒。这说明长提示预填充场景下，减少冗余激活存储与计算是降低延迟的关键。
投机解码的工程取舍
DFlash V2 通过独立草稿模型一次前向提出多个 token，并由目标模型一次验证，块验证可接受更长前缀。但文章在复现基准时固定了接受长度（OpenHands 为 4.5，AgentX 为 4.16），而非使用草稿模型实测质量，因此解码成本反映的是该假设下的表现。读者应留意：投机解码的实际加速高度依赖草稿接受率，合成文本回放无法代表真实文本的接受情况。
多平台支持的实际边界
文章覆盖 NVIDIA Blackwell/H200、AMD MI350X/MI355X、Intel Xeon 6 和 TPU。但各平台定位不同：AMD 提供 Day-0 性能数据与精度对比；Intel Xeon 侧重 INT4 权重量化的离线推理；TPU 的配方和 SGLang-TorchTPU 访问“即将提供”，需登记获取。因此“Day-0 支持”并不等于所有平台立即可用，TPU 路径仍有待开放。
RL 训练中的路由重放价值
Miles 训练后端保留逐专家归一化后再加权求和的顺序与精度边界。文章指出，采用路由重放（R3）后，训练与 rollout 的 log-prob 差异为 0.0044–0.0071，明显低于未使用时的 0.015–0.020。这说明对于 MoE 模型的全参数 RL，复用 rollout 的专家路由能减小训练与推理分布偏差，是提升训练稳定性的实用手段。
Q&A
Muse Spark Open 是什么模型？它有哪些主要特点？
Muse Spark Open 是一个开源多模态混合专家（MoE）模型，拥有 816B 参数的文本 Transformer 主干，每个 token 约激活 42B 参数。它支持文本、图像、视频和音频输入，并支持 1M token 的上下文窗口。检查点提供 NVFP4 和 BF16 两种格式。
SGLang 为 Muse Spark Open 提供了哪些推理优化？
SGLang 提供了序列并行（SP）与 NVFP4 MegaMoE 加速预填充、多模态预处理优化（CPU 预处理、缓存复用、EPD 分离）、DFlash V2 投机解码提升交互性，以及内核融合、权重布局兼容等优化，并支持 PD 分离、HiCache、可中断 CUDA 图等特性。
Muse Spark Open 在 NVIDIA B300 上的性能表现如何？
在 8 块 NVIDIA B300 GPU 上使用 NVFP4 检查点运行 OpenHands 多轮智能体编码回放，并发为 1 时每 GPU 总吞吐 14.8K tokens/s，每用户 543 tokens/s（p50）；并发为 128 时每 GPU 总吞吐 80.3K tokens/s，每用户 61 tokens/s（p50）。
Muse Spark Open 支持哪些硬件平台部署？
目标部署平台包括 NVIDIA Blackwell GPU（GB300、B300、GB200、B200）、NVIDIA H200、AMD MI350X、MI355X 以及 Intel Xeon 6（P-core）。此外还通过 SGLang-TorchTPU 首次为开源权重模型提供 Day-0 TPU 支持。
Miles 如何支持 Muse Spark Open 的强化学习训练？
Miles 通过 Megatron-Core 提供分布式训练支持，覆盖压缩 MoE、归一化和残差门控，保持每个专家输出独立归一化后以 FP32 路由加权求和的计算顺序和精度边界，并支持全参数更新的反向传播。复用 Muon 和 Adam 优化器，支持分块 GPU 更新和 CPU/NVMe 优化器状态卸载。
DFlash V2 投机解码如何提升 Muse Spark Open 的推理速度？
DFlash V2 使用独立草稿模型基于目标模型隐藏状态生成未来 token 块，共享 token 嵌入和 LM 头，目标模型一次前向验证整个块，可接受多个 token。V2 增加了动态卷积和轻量候选选择器，SGLang 将草稿和候选选择集成到同一 CUDA 图中，并支持重叠调度以减少 CPU 开销。
Muse Spark Open 在 AMD MI355X 上的精度表现如何？
在 GSM8K 上，MXFP4（TP4）准确率 97.42%，MXFP4（TP8）97.57%，NVFP4 重量化（TP4）97.95%，BF16（TP8）97.73%，NVFP4 参考（GB300）97.80%。其他基准如 AIME26、GPQA Diamond、MindCube、Video-MME 也表现出相近的精度。
