首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效
内容提要
是石科技发布TokenFleet分布式调度框架，聚焦请求路由、跨机房容量协同与混合负载治理。其中TokenPilot兼顾缓存复用与排队代价选择节点，FleetMind协同多机房可用容量，SLOMax按服务等级分池排队。框架以达标输出吞吐（Goodput）为优化目标，测算显示达标吞吐提高约29.4%，达标比例从约67%升至约86%。
延伸解读
调度优化瞄准的是有效产出，而非单纯提速
文章反复强调以达标输出吞吐（Goodput）为优化目标，即成功完成且满足服务要求的请求所产生的输出Token总量除以测试时长。这意味着调度效果不能只看GPU利用率或总吞吐，还要看有多少计算真正转化为合格交付。文中测算显示总输出吞吐仅增约1.5%，但达标吞吐提高约29.4%，说明减少超时、取消和重复计算对有效产出的贡献可能远大于单纯提升峰值性能。
缓存复用与排队代价需要权衡
TokenPilot在选点时同时估算缓存复用收益与排队代价，而不是一味追求缓存命中。文章指出，缓存命中高的实例也可能排队久，省下的Prefill时间可能被等待抵消。调度器结合输入规模、输出预算和可复用前缀估计工作量，再综合队列、在途Token、KV缓存压力与预测延迟评分。这提示读者，缓存优化并非孤立收益，需与实时排队状态联合评估，否则可能适得其反。
跨机房协同受约束于权限与数据地域
FleetMind在热点机房排队时评估其他机房能否承接，但文章明确前提是满足权限和数据地域约束。分流与否还要比较回源时延、排队、计算、缓存与传输成本。容量协同分短周期调整新请求去向和长周期调整副本与预热位置，并配合容量预留、负载上限感知和自动回退。这说明跨机房调度不是简单的容量池化，而是在业务合规与网络代价之间做精细取舍。
收益数据来自特定测算，实际效果需结合负载验证
文中首Token延迟降低32.4%（P95）和71.3%（P50）、达标吞吐提高约29.4%等数据，均来自是石科技在GLM5.3上的调优或收益测算示例，并注明所测显卡集群与负载条件。文章也提醒延迟下降不直接等于成本下降，实际收益仍需结合具体负载与服务门槛验证。读者应将这些数值视为方向性参考，而非通用承诺，部署前需在自己的业务场景中复测。
Q&A
TokenFleet分布式调度框架主要解决什么问题？
TokenFleet主要解决GPU集群中请求排队和资源闲置同时发生的问题，通过优化请求路由、跨机房容量协同和混合负载治理，提高现有算力的有效产出。
TokenPilot如何选择请求的处理实例？
TokenPilot在选点时同时估算缓存复用收益与排队代价，结合输入规模、输出预算和可复用前缀估计工作量，再综合队列、在途Token、KV缓存压力与预测延迟，筛选并评分候选实例。
采用TokenPilot后首Token延迟降低了多少？
根据是石科技提供的GLM5.3调优数据，在所测显卡集群与负载条件下，采用预测延迟路由后，P95首Token延迟降低32.4%，P50首Token延迟降低71.3%。
FleetMind跨机房调度需要考虑哪些因素？
FleetMind关注实际可用的模型服务容量，汇聚各机房的模型可用性、实时容量与网络状态，先选择执行机房，再由本地决策引擎选择实例。分流需满足权限和数据地域约束，并综合比较回源时延、排队、计算、缓存与传输成本。
SLOMax如何治理混合负载？
SLOMax结合输入长度、输出预算、任务类型与租户服务目标识别工作量，再按等级准入、分池排队并协调容量，保障交互容量，控制长短请求的并发与相互干扰。
TokenFleet的优化目标Goodput是什么？
Goodput即达标输出吞吐，计算的是完整测试时段内成功完成且满足约定服务要求的请求所产生的输出Token总量除以测试时长。不同任务类别需分别定义达标门槛并报告结果。
采用流控协同调度后达标吞吐提升了多少？
在是石科技给出的GLM5.3收益测算示例中，采用流控协同调度后，总输出吞吐增加约1.5%，达标输出吞吐提高约29.4%，达标比例从约67%升至约86%。
