💡
原文中文,约3200字,阅读约需8分钟。
📝
内容提要
英伟达发布了开源模型Nemotron 3 Super,参数达到120B,性能优越,吞吐量提升5倍。未来五年将投入260亿美元用于开源AI模型研发,推动技术进步并开放模型权重和部署手册。
🎯
关键要点
- 英伟达发布了开源模型Nemotron 3 Super,参数达到120B,性能优越。
- Nemotron 3 Super在PinchBench测试中得分85.6%,在同类开源模型中排名第一。
- 英伟达未来五年将投入260亿美元用于开源AI模型研发。
- Nemotron 3 Super支持100万token的上下文窗口,吞吐量提升至上一代的5倍。
- 模型在软件工程基准SWE-Bench中准确率为60.47%,高于GPT-OSS的41.9%。
- Nemotron 3 Super采用混合Mamba-Transformer架构,优化了处理效率与精度。
- 模型引入Latent MoE架构,提升了专家网络的调用效率。
- 模型通过多token预测技术加速生成速度,缩短复杂任务的生成时间。
- 英伟达在后训练阶段通过多层级加固策略提升模型的智能体能力。
- 260亿美元的投资将用于构建开源AI模型,并进行计算、存储和网络性能的压力测试。
- 英伟达全面开放模型的参数权重和部署手册,推动开源生态的发展。
➡️