全球TMT-美通国际
·
浪潮信息元脑CPU推理服务器，支持32B大模型高效推理
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
浪潮信息推出的NF8260G7和NF8480G7元脑CPU推理服务器，支持DeepSeek和QwQ等大模型，具备高效算力和并发处理能力，适合企业快速部署AI应用。
🎯
关键要点
- 浪潮信息推出NF8260G7和NF8480G7元脑CPU推理服务器，支持DeepSeek和QwQ等大模型。
- 服务器采用4颗高性能通用CPU和多通道内存系统，具备高效算力和并发处理能力。
- 单机可支持20个并发用户请求，适合企业快速部署AI应用。
- 服务器通过软硬协同优化，为32B模型推理与云计算、数据库等场景提供高效支持。
- NF8260G7和NF8480G7已完成与DeepSeek-R1 32B和QwQ-32B的深度适配和优化。
- 服务器设计采用4颗32核心的英特尔至强处理器6448H，支持张量并行计算。
- 具备超强的BF16精度AI推理能力和高内存容量及带宽，满足模型计算和存储需求。
- 对主流企业级大模型推理服务框架vLLM进行深度定制优化，效率提升4倍，解码性能提升2倍。
➡️
