商汤大装置CTO宣善明指出,Agentic时代Token需求将增长千倍,AI基础设施须从规模扩张转向效率优化。商汤通过PD分离与异构混合调度构建万卡级推理集群,以动态角色切换应对故障与闲置,特定配置下Token吞吐提升至5倍。未来将探索跨域PD分离与AF分离,并以Token工厂模式提升产能,日均服务量已达6万亿。
完成下面两步后,将自动完成登录并继续当前操作。