NVIDIA测试显示，四张B200运行Nemotron 3 Ultra，在每用户50 Token/s延迟目标下，启用NIM优化栈后并发承载从718提升至1997 Token/s，约2.5倍。提升源于内核、张量并行、缓存复用、调度与推测解码协同，并非通用结论。文章强调推理优化需兼顾吞吐与延迟，用Pareto曲线和SLO评估，并保存真实流量轨迹持续回放，避免单次跑分误导。

NVIDIA Nemotron 3 Ultra通过优化LangChain深度代理，实现领先性能和更低成本，帮助企业完成更多任务。该系统无需重新训练模型，企业可定制和控制AI代理，从而提升工作效率。NemoClaw为企业提供开放的AI构建蓝图，支持在多种平台上运行，助力构建专属代理。

Nvidia发布了Nemotron 3 Ultra模型，拥有5500亿参数，支持高达100万标记的上下文窗口。该模型速度显著提升，能节省用户30%的成本。尽管在某些基准测试中落后于中国模型，但在处理复杂任务和多语言支持方面表现出色。模型的权重和数据集将公开。

Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。这是一种开放的混合专家推理模型，专为长时间运行的代理工作流设计，具有1M的上下文窗口，支持多轮代理工作流，吞吐量可达每秒350个标记，成本降低30%。使用时需在AI SDK中设置模型为nvidia/nemotron-3-ultra-550b-a55b。