日均6万亿Token服务背后，商汤大装置如何提升推理效能？
内容提要
商汤大装置CTO宣善明指出，Agentic时代Token需求将增长千倍，AI基础设施须从规模扩张转向效率优化。商汤通过PD分离与异构混合调度构建万卡级推理集群，以动态角色切换应对故障与闲置，特定配置下Token吞吐提升至5倍。未来将探索跨域PD分离与AF分离，并以Token工厂模式提升产能，日均服务量已达6万亿。
延伸解读
PD分离：异构算力的精准匹配
文章指出，Prefill阶段计算密集，Decode阶段显存带宽要求高。商汤将两者解耦，让国产算力承担Prefill，高阶GPU承担Decode，通过KV Cache传输连接。这并非简单混用芯片，而是按计算特征重新组织资源，使国产算力参与更高层级推理服务，提升混合集群整体效率与性价比。
故障与闲置：动态调度化解规模风险
异构集群中，一个Decode节点可能需30至50个中低阶Prefill节点匹配。一旦Decode故障，大量Prefill资源闲置。商汤采用两种方式：在Prefill池预留少量高端算力快速补位；让节点具备Prefill与Decode角色动态切换能力，根据负载调整分工，保障大规模集群稳定输出Token。
跨域与AF分离：下一步的效率空间
跨域PD分离打破单数据中心边界，由本地中低阶算力做Prefill，KV Cache传至异地高阶集群Decode。1M上下文KV Cache规模从近100GB降至约1GB，降低了传输压力。AF分离则将Attention与FFN部署到更适合的硬件，文章预计单卡吞吐提升150%至200%、运营成本降低30%至40%，但收益取决于模型架构与系统实现。
Token工厂：从调参走向可度量系统
商汤强调推理优化需回归两个核心指标：端到端服务质量与单位投入的有效Token成本。其Token工厂模式日均服务量已达6万亿，预计2026年第四季度达日均10万亿。文章认为，Agentic时代稀缺的不是芯片，而是稳定、低成本、高等级持续产出Token的系统能力，需将硬件、模型、任务与调度纳入统一体系。
Q&A
Agentic时代为什么Token需求会增长千倍？
因为AI应用从对话式问答走向多Agent协作和长任务执行，涉及更多模型调用、推理轮次和上下文处理，导致Token消耗呈千倍级增长。
商汤大装置如何通过PD分离提升推理效率？
PD分离将Prefill和Decode解耦：Prefill计算密集，由国产算力承担；Decode需高显存带宽，由高阶GPU承担，通过KV Cache传输连接。这样能重新组织算力资源，提升混合集群整体效率与性价比。
万卡级异构推理集群面临哪些工程挑战？商汤如何解决？
挑战包括不同代际算力互联、节点故障和资源闲置。商汤通过两种方式优化：一是在Prefill资源池预留高端算力，故障时快速补位；二是让节点具备Prefill与Decode角色动态切换能力，根据负载灵活调整分工。
商汤的异构推理方案在吞吐量上能提升多少？
在特定测试配置下，相较于基准方案，在相同数量的高端旗舰卡条件下，通过异构推理与资源协同，整体Token吞吐量可提升至原来的5倍。
跨域PD分离和AF分离分别是什么？有什么潜在收益？
跨域PD分离打破单数据中心边界，由本地中低阶算力做Prefill，将KV Cache传至异地高阶算力集群做Decode，盘活分散算力。AF分离将Attention（需显存带宽）与FFN（需计算能力）部署到更适合的硬件上，有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%、能效提升至两倍以上。
商汤大装置目前的Token服务规模如何？未来目标是什么？
目前平台日均Token服务量已达6万亿，预计2026年全年Token服务规模实现25倍增长，并在第四季度达到日均10万亿Token规模。
