NVIDIA Nemotron 3.5 Lightning与NeMo Switchyard：提供更快、更智能、更高效的智能体AI
内容提要
NVIDIA发布Nemotron 3.5 Lightning开源模型和NeMo Switchyard路由库，提升智能体AI效率。前者为300亿参数专家混合模型，速度快4倍，任务完成快30%，支持本地部署；后者智能路由请求至最适模型，降低成本。多家企业已采用，实现高精度与成本节约。
延伸解读
模型路由的实用价值
NeMo Switchyard 的核心价值在于智能路由：它自动将请求分配给最合适的模型，避免单一模型带来的过度支出或质量损失。内部基准显示，它能将任务完成成本降至仅使用单一前沿模型（如 Opus 4.8）的三分之一左右，同时保持前沿级准确性。这意味着企业可以在不牺牲质量的前提下显著降低 AI 运营成本。
本地部署与隐私控制
Nemotron 3.5 Lightning 支持在本地 AI 系统（如 RTX PC、DGX Spark 等）上运行，这为组织提供了隐私保护和基础设施利用的优势。对于需要快速响应的高容量任务，本地部署可减少延迟并增强数据安全。此外，NVIDIA 公开了尽可能多的训练数据和技术，支持可追溯性和审计，进一步增强了企业对模型的控制力。
生态合作与成本效益
多家企业已采用 NeMo Switchyard 并报告了显著的成本节约和效率提升。例如，Ramp 在 SWE-Bench 中实现了成本降低 58%、运行时间减少 33%；LangChain 在 145 个多轮任务中成本降低 74%，仅牺牲 6% 的准确性。这些案例表明，智能路由不仅能降低成本，还能在可接受的精度权衡下提升整体效率。
Q&A
NVIDIA Nemotron 3.5 Lightning是什么？
Nemotron 3.5 Lightning是NVIDIA发布的一个300亿参数的专家混合（MoE）开源模型，专为长时间运行的智能体AI工作负载设计，提供最高效率，支持本地部署。
Nemotron 3.5 Lightning相比同类模型有哪些性能提升？
Nemotron 3.5 Lightning相比同类模型，输出速度提升高达4倍，智能体任务完成速度提升30%，同时保持前沿级别的准确性。
NeMo Switchyard是什么？它有什么作用？
NeMo Switchyard是NVIDIA发布的一个开源模型路由库，能智能地将请求路由到最合适的模型，以平衡质量、延迟和成本，无需重写应用。
Nemotron 3.5 Lightning支持哪些部署方式？
Nemotron 3.5 Lightning支持本地部署，包括NVIDIA RTX PCs、DGX Spark、DGX Station和Jetson等，也可部署在边缘设备、工作站、数据中心和云端。
哪些企业已经采用了Nemotron 3.5 Lightning？
CrowdStrike（网络安全）、Harvey（法律服务）、CodeRabbit（代码审查）、Lila Sciences（生命科学）和Fastino Labs（软件开发、金融和医疗）等企业已定制Nemotron 3.5 Lightning以提高特定领域智能体任务的准确性。
NeMo Switchyard在成本节约方面表现如何？
内部基准测试显示，NeMo Switchyard在保持前沿准确性的同时，可将任务完成成本降低至仅使用单一前沿模型（如Opus 4.8）的三分之一左右。
Nemotron 3.5 Lightning和NeMo Switchyard在哪里可以获取？
Nemotron 3.5 Lightning可通过Hugging Face、ModelScope、OpenRouter和build.nvidia.com等平台获取，而NeMo Switchyard在GitHub上开源。
