量子位
·
记忆张量 × 商汤大装置：国产 GPGPU 推理成本反超 A100！
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
记忆张量与商汤大装置联合推出的国产GPGPU推理集群，性价比超越NVIDIA A100，提升了吞吐量和并发能力。通过“记忆—计算—调度”一体化设计，突破了传统性能限制，推动了大模型的商业化进程，标志着国产算力体系的重大进步。
🎯
关键要点
- 记忆张量与商汤大装置联合推出国产GPGPU推理集群，性价比超越NVIDIA A100。
- 集群在真实C端负载下实现单卡并发效率提升20%，吞吐提升75%。
- MemOS与PD分离深度耦合，打破传统性能限制，推动大模型商业化进程。
- PD分离与记忆结构结合，重构“记忆—计算—调度”整体体系，超越性能上限。
- 集群在严格SLA约束下，稳定运行于12台4P8D架构的商用集群。
- MemOS的三层记忆结构与商汤大装置的基础设施形成体系化推理优化链路。
- 集群整体吞吐量提升超过75%，单卡并发能力提升约20%。
- TTFT全程稳定小于2秒，KV Cache命中率显著提升，推理成本进一步降低。
- 国产GPU具备承载R1级C端业务的体系能力，推动行业推理架构的可行路线。
- 未来将继续深化合作，构建记忆驱动流水线推理底座，推动伴随式AI的发展。
➡️
