量子位
·
记忆张量 × 商汤大装置：国产 GPGPU 推理成本反超 A100！
内容提要
记忆张量与商汤大装置联合推出的国产GPGPU推理集群，性价比超越NVIDIA A100，提升了吞吐量和并发能力。通过“记忆—计算—调度”一体化设计，突破了传统性能限制，推动了大模型的商业化进程，标志着国产算力体系的重大进步。
关键要点
-
记忆张量与商汤大装置联合推出国产GPGPU推理集群，性价比超越NVIDIA A100。
-
集群在真实C端负载下实现单卡并发效率提升20%，吞吐提升75%。
-
MemOS与PD分离深度耦合，打破传统性能限制，推动大模型商业化进程。
-
PD分离与记忆结构结合，重构“记忆—计算—调度”整体体系，超越性能上限。
-
集群在严格SLA约束下，稳定运行于12台4P8D架构的商用集群。
-
MemOS的三层记忆结构与商汤大装置的基础设施形成体系化推理优化链路。
-
集群整体吞吐量提升超过75%，单卡并发能力提升约20%。
-
TTFT全程稳定小于2秒，KV Cache命中率显著提升，推理成本进一步降低。
-
国产GPU具备承载R1级C端业务的体系能力，推动行业推理架构的可行路线。
-
未来将继续深化合作，构建记忆驱动流水线推理底座，推动伴随式AI的发展。
延伸解读
国产GPGPU的竞争优势
记忆张量与商汤大装置的合作使国产GPGPU在推理性能上超越NVIDIA A100，标志着国产算力体系的重大进步。这种突破不仅提升了吞吐量和并发能力，还为大模型的商业化提供了新的可能性，显示出国产技术在国际市场上的竞争力。
PD分离与记忆结构的结合
PD分离技术与MemOS的深度耦合，打破了传统推理性能的限制。通过重构“记忆—计算—调度”体系，集群在高并发场景下实现了更高的效率。这种创新的推理范式为未来的AI应用提供了新的思路，尤其是在C端场景中的应用潜力。
推理成本的降低
集群的KV Cache命中率显著提升，使得推理成本进一步降低。这对于需要高频交互的应用，如聊天机器人等，具有重要意义。随着推理效率的提高，企业在部署大模型时将面临更低的成本和更高的性能，推动行业的快速发展。
延伸问答
国产GPGPU推理集群的性价比如何？
国产GPGPU推理集群的性价比达到同代NVIDIA A100的150%。
记忆张量与商汤大装置的合作有什么创新之处？
他们的合作通过PD分离与记忆结构深度耦合，重构了“记忆—计算—调度”整体体系，突破了传统性能限制。
集群在真实C端负载下的性能提升如何？
集群在真实C端负载下实现单卡并发效率提升20%，吞吐量提升75%。
MemOS的记忆结构是如何设计的？
MemOS的记忆结构分为参数记忆、激活记忆和明文记忆，形成跨时间尺度的调度链路。
这项技术对大模型商业化有什么影响？
这项技术为大模型的商业化打开了全新的降本增效空间，具备“体系级”竞争力。
未来国产GPGPU的发展方向是什么？
未来将继续深化合作，构建记忆驱动流水线推理底座，推动伴随式AI的发展。
