同一套GPU多服务2.5倍用户，关键不是换模型
内容提要
NVIDIA测试显示，四张B200运行Nemotron 3 Ultra，在每用户50 Token/s延迟目标下，启用NIM优化栈后并发承载从718提升至1997 Token/s，约2.5倍。提升源于内核、张量并行、缓存复用、调度与推测解码协同，并非通用结论。文章强调推理优化需兼顾吞吐与延迟，用Pareto曲线和SLO评估，并保存真实流量轨迹持续回放，避免单次跑分误导。
延伸解读
2.5倍提升的适用条件
文章明确，2.5倍并发提升是在四张B200、Nemotron 3 Ultra、64K输入、400 Token输出、76% KV缓存复用率以及每用户50 Token/s延迟目标下测得的。这些条件共同构成一个特定场景，并非通用结论。若换成一次性短问答或低缓存复用流量，前缀缓存和状态复用的收益会大幅缩水，照搬数字可能高估实际效果。
吞吐与延迟必须一起看
文章强调，只追求总吞吐可能让批次排队拉长首字时间和Token间延迟，导致用户体验变差。正确做法是绘制Pareto曲线，对每个并发档位同时记录系统吞吐与用户侧延迟，只比较满足服务等级目标的点。这样能避免把“最忙”误当成“最优”，让优化真正服务于可感知的响应速度。
优化收益不能简单相加
NIM优化栈包含模型感知内核、四卡张量并行、前缀与Mamba状态复用、调度和显存调整以及MTP推测解码。这些优化相互影响，收益并非线性叠加。例如缓存复用对重复系统提示和多轮代理价值大，对完全不同的短请求可能很小；推测解码依赖候选Token接受率，还会消耗额外显存。因此需要逐项验证，而非默认叠加。
可重复的性能工程更值钱
文章判断，下一阶段最值钱的能力是可重复的性能工程，而非单次跑分。团队应保存真实流量轨迹并持续回放，固定模型、精度、镜像摘要和硬件，分别测试冷缓存、热缓存和突发流量。同时把用户体验翻译成可测SLO，如P95首字低于两秒、Token间延迟低于40毫秒，并用每千次请求成本结算优化价值。
Q&A
NVIDIA的测试中，四张B200运行Nemotron 3 Ultra，在50 Token/s每用户延迟目标下，启用NIM优化栈后并发承载提升了多少？
从718 Token/s提升至1997 Token/s，约2.5倍。
为什么不能只看总吞吐量来评估推理优化效果？
因为提高并发虽然能增加总吞吐，但会导致批次排队，拉长首字时间和Token间延迟，可能使用户体验变差。正确做法是同时考虑吞吐和延迟，画Pareto曲线，只比较满足服务等级目标的点。
NIM优化栈具体包含哪些技术？
包括模型感知内核、四卡张量并行、前缀与Mamba状态复用、调度和显存参数调整，以及MTP推测解码。
在什么场景下缓存复用和推测解码的收益可能较小？
对于每次都完全不同的短请求，缓存复用收益可能很小；推测解码依赖候选Token接受率，也会消耗额外显存，收益可能有限。
团队应该如何进行可重复的推理性能压测？
从生产采样并脱敏输入长度、输出长度、到达间隔与重复前缀比例；定义P95首字时间和Token间延迟红线；扫并发档位；分别测试冷缓存、热缓存和突发流量；固定模型、精度、镜像摘要和硬件；选择满足SLO的最高吞吐点，并计算每千次请求成本。
为什么说大模型推理下一阶段最值钱的能力是可重复的性能工程？
因为2.5倍提升来自一组相互作用的配置，且官方要求使用代表性轨迹构建Pareto曲线。能保存请求分布、版本和SLO的团队，才能判断优化是否真实有效。
