NVIDIA与本地AI社区推动开源模型和智能体发展
内容提要
NVIDIA发布Nemotron 3.5 Lightning开源模型，专为本地智能体设计，速度提升4倍，支持个性化微调。同时推出NeMo Switchyard路由库，优化模型选择，成本降至三分之一。模型可在RTX PC等设备运行，并获多家合作伙伴支持。
延伸解读
本地部署的实用价值
Nemotron 3.5 Lightning可在RTX PC、DGX Spark等设备上运行，意味着用户无需依赖云端即可运行智能体，降低了对网络和云服务的依赖，同时提高了数据隐私和响应速度。对于个人开发者和企业而言，这提供了更灵活、成本可控的AI应用方式。
模型选择与成本优化
NeMo Switchyard通过自动路由到最佳模型，在保持任务完成质量的同时，将成本降至约三分之一。这反映了当前AI应用中对成本效益的重视，开发者可以更精细地控制推理成本，而不必牺牲性能，尤其适合需要频繁调用模型的场景。
生态合作与可定制性
NVIDIA与vLLM、Ollama、llama.cpp等社区合作，提供多种部署格式，并支持通过Unsloth进行量化优化，降低了本地部署门槛。同时，开放权重允许用户针对特定风格、专业领域或编码规范进行微调，增强了模型的个性化适配能力，满足多样化需求。
Q&A
NVIDIA Nemotron 3.5 Lightning是什么？
Nemotron 3.5 Lightning是NVIDIA发布的开放权重30B混合专家（MoE）模型，专为本地智能体设计，速度提升4倍，支持个性化微调。
Nemotron 3.5 Lightning相比同类模型有哪些性能提升？
Nemotron 3.5 Lightning的token生成速度提升高达4倍，任务完成时间缩短30%。
Nemotron 3.5 Lightning支持哪些个性化微调？
用户可以用自己的数据微调模型，例如让模型学习特定的写作风格、专业领域知识或编程规范，从而更好地匹配个人需求。
Nemotron 3.5 Lightning可以在哪些设备上运行？
它可以在NVIDIA RTX PC、DGX Spark、OEM GB10系统、Jetson设备上运行，并可扩展至RTX PRO工作站、DGX Station、GB300桌面系统、数据中心和云环境。
NVIDIA NeMo Switchyard是什么？它有什么作用？
NeMo Switchyard是一个开源路由库，能自动将智能体工作流的每一步路由到最合适的模型，根据准确性、速度和成本进行优化，从而降低推理成本。
NeMo Switchyard能带来多少成本节省？
内部基准测试显示，NeMo Switchyard通过路由优化，可将基准完成成本降低至仅使用Opus 4.8时的约三分之一。
Nemotron 3.5 Lightning如何获取？
该模型可通过OpenRouter、build.nvidia.com上的NIM微服务，以及NVIDIA云合作伙伴、推理平台和云服务提供商获取。
