Nemotron 3.5 Lightning现已在AI Gateway上免费提供

Nemotron 3.5 Lightning现已在AI Gateway上免费提供

💡 原文英文,约300词,阅读约需1分钟。
📝

内容提要

英伟达Nemotron 3.5 Lightning已在AI Gateway免费提供,模型名为nvidia/nemotron-3.5-lightning-free。该开放权重推理与聊天模型面向长时智能体、子智能体、聊天机器人和RAG系统,采用30B参数混合专家架构,每token激活3B,交错Mamba-2与MoE层,支持100万token上下文、工具调用和结构化输出。可通过AI SDK及多种API调用,AI Gateway无加价、不收平台费。

🔎

延伸解读

模型架构与效率特点

Nemotron 3.5 Lightning采用30B参数的混合专家架构,但每个token仅激活3B参数,这有助于降低推理成本。其设计交错使用Mamba-2层和MoE层,并包含少量注意力层,这种组合可能在长序列处理上兼顾效率与效果。100万token的上下文窗口使其适合处理超长文档或复杂多轮对话,而工具调用和结构化输出支持则扩展了在智能体与RAG系统中的实用性。

免费使用的注意事项

该模型在AI Gateway上以nvidia/nemotron-3.5-lightning-free名称免费提供,但需注意提供方可能保留提示词用于模型改进。这意味着输入内容可能被用于训练或优化,若涉及敏感或隐私数据,应谨慎使用。免费并不等同于无限制,实际调用时仍需关注服务条款和数据处理政策,避免泄露机密信息。

集成与调用方式

开发者可通过AI SDK、Chat Completions、Responses和Messages API等多种方式调用该模型,也可在Claude Code、Codex、Cursor等编码代理中通过Vercel CLI设置后选用。AI Gateway提供统一API,支持用量与成本跟踪、重试、故障转移和性能优化,并包含自定义报告、API密钥预算和路由规则。其定价反映提供商价格且无加价,也不收取平台费,包括自带密钥请求。

❓

Q&A

Nemotron 3.5 Lightning 在 AI Gateway 上怎么免费使用?

在 AI Gateway 上使用模型名 nvidia/nemotron-3.5-lightning-free 即可免费调用,由 NVIDIA 提供服务。

Nemotron 3.5 Lightning 的架构和参数规模是怎样的?

它拥有 30B 参数,每个 token 激活 3B,采用混合专家(MoE)设计,交错 Mamba-2 和 MoE 层,并包含少量注意力层。

Nemotron 3.5 Lightning 支持多长的上下文窗口?

支持 100 万 token 的上下文窗口。

Nemotron 3.5 Lightning 适合哪些应用场景?

适用于长时运行的智能体、子智能体工作、聊天机器人和 RAG 系统。

如何通过代码调用 Nemotron 3.5 Lightning?

可以通过 AI SDK、Chat Completions、Responses 和 Messages API 调用,或使用连接到 AI Gateway 的编码代理。例如使用 AI SDK 的 streamText 函数,指定模型名即可。

AI Gateway 对 Nemotron 3.5 Lightning 的定价和费用如何?

AI Gateway 按提供商定价收费,无加价,并且不收取推理平台费,包括自带密钥(BYOK)请求。

🏷️

标签

➡️

继续阅读