全球TMT-美通国际
·
元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持
原文中文，约400字，阅读约需1分钟。
📝
内容提要
浪潮信息的元脑企智一体机已成功适配Kimi K2万亿参数大模型，单用户输出速度达到70 tokens/s。Kimi K2使用MuonClip优化器，参数总量为1万亿，需至少1TB显存，并搭载FP8计算引擎，支持高速并行通信和多用户访问。
🎯
关键要点
-
浪潮信息的元脑企智一体机已成功适配Kimi K2万亿参数大模型。
-
单用户输出速度达到70 tokens/s。
-
Kimi K2使用MuonClip优化器，提升模型学习效率。
-
Kimi K2的总参数量为1万亿，激活参数为320亿。
-
K2模型需要至少1TB显存，384个路由专家影响推理速度。
-
元脑企智一体机采用NF5688G7服务器作为算力底座。
-
配备1128GB HBM3e高速显存，支持K2全量模型部署。
-
支持64K上下文长度和多路用户实时并发访问。
🏷️
