Nemotron 3 Ultra现已在AI Gateway上可用

Nemotron 3 Ultra现已在AI Gateway上可用

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。这是一种开放的混合专家推理模型,专为长时间运行的代理工作流设计,具有1M的上下文窗口,支持多轮代理工作流,吞吐量可达每秒350个标记,成本降低30%。使用时需在AI SDK中设置模型为nvidia/nemotron-3-ultra-550b-a55b。

🎯

关键要点

  • Nvidia推出的Nemotron 3 Ultra现已在Vercel AI Gateway上可用。

  • Nemotron 3 Ultra是一种开放的混合专家推理模型,专为长时间运行的代理工作流设计,具有1M的上下文窗口。

  • 该模型支持多轮代理工作流,包括规划、工具使用、子代理委派和错误恢复。

  • 吞吐量可达每秒350个标记,成本降低30%。

  • 使用时需在AI SDK中将模型设置为nvidia/nemotron-3-ultra-550b-a55b。

延伸问答

Nemotron 3 Ultra的主要功能是什么?

Nemotron 3 Ultra是一种开放的混合专家推理模型,专为长时间运行的代理工作流设计,支持多轮代理工作流,包括规划、工具使用、子代理委派和错误恢复。

如何在AI SDK中使用Nemotron 3 Ultra?

在AI SDK中使用Nemotron 3 Ultra时,需要将模型设置为nvidia/nemotron-3-ultra-550b-a55b。

Nemotron 3 Ultra的吞吐量和成本优势是什么?

Nemotron 3 Ultra的吞吐量可达每秒350个标记,且在代理任务上成本降低30%。

Nemotron 3 Ultra适合哪些类型的工作流?

Nemotron 3 Ultra适合长时间运行的代理工作流,特别是多轮代理工作流。

Vercel AI Gateway提供了哪些功能?

Vercel AI Gateway提供统一的API用于调用模型、跟踪使用和成本、配置重试和性能优化等功能。

Nemotron 3 Ultra的上下文窗口有多大?

Nemotron 3 Ultra具有1M的上下文窗口。

➡️

继续阅读