NVIDIA与Mistral AI合作加速新一代开放模型的推出
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Mistral AI发布了Mistral 3系列模型，优化了NVIDIA平台，支持云到边缘的分布式智能。Mistral Large 3采用混合专家模型，具备41B活跃参数和675B总参数，提供高效能和准确性，适用于企业AI，支持快速部署和定制，推动AI创新。
🎯
关键要点
- Mistral AI发布了Mistral 3系列模型，优化了NVIDIA平台，支持云到边缘的分布式智能。
- Mistral Large 3采用混合专家模型，具备41B活跃参数和675B总参数，提供高效能和准确性。
- 新模型适用于企业AI，支持快速部署和定制，推动AI创新。
- Mistral Large 3具有256K的上下文窗口，适合企业AI工作负载的可扩展性和适应性。
- 结合NVIDIA GB200 NVL72系统和Mistral AI的MoE架构，企业可以高效部署和扩展大型AI模型。
- 模型的MoE架构利用NVIDIA NVLink的内存域，提升大规模专家并行性的性能。
- Mistral Large 3在GB200 NVL72上相比前代NVIDIA H200实现了性能提升，降低了每个token的成本。
- Mistral AI还发布了九个小型语言模型，帮助开发者在任何地方运行AI。
- Ministral 3套件优化了在NVIDIA的边缘平台上运行，包括NVIDIA Spark和Jetson设备。
- 开发者可以通过Llama.cpp和Ollama快速高效地在边缘上试用Ministral 3套件。
- Mistral 3系列模型开放可用，支持研究人员和开发者进行实验和定制，促进AI创新。
- 通过将Mistral AI的模型与NVIDIA NeMo工具链接，企业可以进一步定制模型，加快从原型到生产的过程。
- NVIDIA优化了推理框架，以实现从云到边缘的高效性。
- Mistral 3现已在主要开源平台和云服务提供商上可用，预计很快可以作为NVIDIA NIM微服务部署。
➡️
