量子位
·
记忆张量 × 商汤大装置：国产 GPGPU 推理成本反超 A100！
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
记忆张量与商汤大装置联合推出的国产GPGPU推理集群，性价比超越NVIDIA A100，提升了吞吐量和并发能力。通过“记忆—计算—调度”一体化设计，突破了传统性能限制，推动了大模型的商业化进程，标志着国产算力体系的重大进步。
🎯
关键要点
- 记忆张量与商汤大装置联合推出国产GPGPU推理集群，性价比超越NVIDIA A100。
- 集群在真实C端负载下实现单卡并发效率提升20%，吞吐提升75%。
- MemOS与PD分离深度耦合，打破传统性能限制，推动大模型商业化进程。
- PD分离与记忆结构结合，重构“记忆—计算—调度”整体体系，超越性能上限。
- 集群在严格SLA约束下，稳定运行于12台4P8D架构的商用集群。
- MemOS的三层记忆结构与商汤大装置的基础设施形成体系化推理优化链路。
- 集群整体吞吐量提升超过75%，单卡并发能力提升约20%。
- TTFT全程稳定小于2秒，KV Cache命中率显著提升，推理成本进一步降低。
- 国产GPU具备承载R1级C端业务的体系能力，推动行业推理架构的可行路线。
- 未来将继续深化合作，构建记忆驱动流水线推理底座，推动伴随式AI的发展。
❓
延伸问答
国产GPGPU推理集群的性价比如何？
国产GPGPU推理集群的性价比达到同代NVIDIA A100的150%。
记忆张量与商汤大装置的合作有什么创新之处？
他们的合作通过PD分离与记忆结构深度耦合，重构了“记忆—计算—调度”整体体系，突破了传统性能限制。
集群在真实C端负载下的性能提升如何？
集群在真实C端负载下实现单卡并发效率提升20%，吞吐量提升75%。
MemOS的记忆结构是如何设计的？
MemOS的记忆结构分为参数记忆、激活记忆和明文记忆，形成跨时间尺度的调度链路。
这项技术对大模型商业化有什么影响？
这项技术为大模型的商业化打开了全新的降本增效空间，具备“体系级”竞争力。
未来国产GPGPU的发展方向是什么？
未来将继续深化合作，构建记忆驱动流水线推理底座，推动伴随式AI的发展。
➡️
