Vercel News
·
Nemotron 3 Ultra现已在AI Gateway上可用
内容提要
Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。这是一种开放的混合专家推理模型，专为长时间运行的代理工作流设计，具有1M的上下文窗口，支持多轮代理工作流，吞吐量可达每秒350个标记，成本降低30%。使用时需在AI SDK中设置模型为nvidia/nemotron-3-ultra-550b-a55b。
关键要点
-
Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。
-
Nemotron 3 Ultra是一种开放的混合专家推理模型，专为长时间运行的代理工作流设计，具有1M的上下文窗口。
-
该模型支持多轮代理工作流，包括规划、工具使用、子代理委派和错误恢复。
-
吞吐量可达每秒350个标记，成本降低30%。
-
使用时需在AI SDK中将模型设置为nvidia/nemotron-3-ultra-550b-a55b。
延伸解读
Nemotron 3 Ultra的应用场景
Nemotron 3 Ultra专为长时间运行的代理工作流设计，适合需要多轮交互的复杂任务，如项目规划和工具使用。这使得它在自动化和智能代理领域具有广泛的应用潜力，尤其是在需要高效处理大量数据的场景中。
成本效益分析
该模型的成本降低30%意味着企业在使用AI进行代理任务时，可以显著节省开支。这对于预算有限的公司尤为重要，能够在不牺牲性能的情况下，提升工作效率和降低运营成本。
使用注意事项
在使用Nemotron 3 Ultra时，用户需确保在AI SDK中正确设置模型参数。这一细节对于确保模型的最佳性能至关重要，错误的设置可能导致性能下降或无法正常运行。
延伸问答
Nemotron 3 Ultra的主要功能是什么？
Nemotron 3 Ultra是一种开放的混合专家推理模型，专为长时间运行的代理工作流设计，支持多轮代理工作流，包括规划、工具使用、子代理委派和错误恢复。
如何在AI SDK中使用Nemotron 3 Ultra？
在AI SDK中使用Nemotron 3 Ultra时，需要将模型设置为nvidia/nemotron-3-ultra-550b-a55b。
Nemotron 3 Ultra的吞吐量和成本优势是什么？
Nemotron 3 Ultra的吞吐量可达每秒350个标记，且在代理任务上成本降低30%。
Nemotron 3 Ultra适合哪些类型的工作流？
Nemotron 3 Ultra适合长时间运行的代理工作流，特别是多轮代理工作流。
Vercel AI Gateway提供了哪些功能？
Vercel AI Gateway提供统一的API用于调用模型、跟踪使用和成本、配置重试和性能优化等功能。
Nemotron 3 Ultra的上下文窗口有多大？
Nemotron 3 Ultra具有1M的上下文窗口。
