NVIDIA测试显示，四张B200运行Nemotron 3 Ultra，在每用户50 Token/s延迟目标下，启用NIM优化栈后并发承载从718提升至1997 Token/s，约2.5倍。提升源于内核、张量并行、缓存复用、调度与推测解码协同，并非通用结论。文章强调推理优化需兼顾吞吐与延迟，用Pareto曲线和SLO评估，并保存真实流量轨迹持续回放，避免单次跑分误导。

AWS推出了支持NVIDIA B200的Amazon EC2 P6-B200实例，专为AI、机器学习和高性能计算设计。该实例配备8个NVIDIA B200 GPU和1440GB内存，性能是P5en实例的两倍，适合大规模AI训练和推理。用户可在美国西部区域预留容量块，并支持与多种AWS服务集成。