全球TMT-美通国际
·
元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
浪潮信息的元脑企智一体机已成功适配Kimi K2万亿参数大模型，单用户输出速度达到70 tokens/s。Kimi K2使用MuonClip优化器，参数总量为1万亿，需至少1TB显存，并搭载FP8计算引擎，支持高速并行通信和多用户访问。
🎯
关键要点
- 浪潮信息的元脑企智一体机已成功适配Kimi K2万亿参数大模型。
- 单用户输出速度达到70 tokens/s。
- Kimi K2使用MuonClip优化器，提升模型学习效率。
- Kimi K2的总参数量为1万亿，激活参数为320亿。
- K2模型需要至少1TB显存，384个路由专家影响推理速度。
- 元脑企智一体机采用NF5688G7服务器作为算力底座。
- 配备1128GB HBM3e高速显存，支持K2全量模型部署。
- 支持64K上下文长度和多路用户实时并发访问。
➡️
