内容提要
Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。这是一种开放的混合专家推理模型,专为长时间运行的代理工作流设计,具有1M的上下文窗口,支持多轮代理工作流,吞吐量可达每秒350个标记,成本降低30%。使用时需在AI SDK中设置模型为nvidia/nemotron-3-ultra-550b-a55b。
关键要点
-
Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。
-
Nemotron 3 Ultra是一种开放的混合专家推理模型,专为长时间运行的代理工作流设计,具有1M的上下文窗口。
-
该模型支持多轮代理工作流,包括规划、工具使用、子代理委派和错误恢复。
-
吞吐量可达每秒350个标记,成本降低30%。
-
使用时需在AI SDK中将模型设置为nvidia/nemotron-3-ultra-550b-a55b。
延伸问答
Nemotron 3 Ultra的主要功能是什么?
Nemotron 3 Ultra是一种开放的混合专家推理模型,专为长时间运行的代理工作流设计,支持多轮代理工作流,包括规划、工具使用、子代理委派和错误恢复。
如何在AI SDK中使用Nemotron 3 Ultra?
在AI SDK中使用Nemotron 3 Ultra时,需要将模型设置为nvidia/nemotron-3-ultra-550b-a55b。
Nemotron 3 Ultra的吞吐量和成本优势是什么?
Nemotron 3 Ultra的吞吐量可达每秒350个标记,且在代理任务上成本降低30%。
Nemotron 3 Ultra适合哪些类型的工作流?
Nemotron 3 Ultra适合长时间运行的代理工作流,特别是多轮代理工作流。
Vercel AI Gateway提供了哪些功能?
Vercel AI Gateway提供统一的API用于调用模型、跟踪使用和成本、配置重试和性能优化等功能。
Nemotron 3 Ultra的上下文窗口有多大?
Nemotron 3 Ultra具有1M的上下文窗口。