华为云发布EMS弹性内存存储服务，打破AI内存墙
内容提要
华为云发布EMS弹性内存存储服务，解决AI内存墙难题，提升AI推理性能。EMS实现显存扩展、算力卸载和以存代算功能，降低NPU部署数量。华为云还推出AI-Native智算存储解决方案，构建AI Native基础设施。
延伸解读
AI内存墙的根源：参数增长与显存容量脱节
文章指出，典型Transformer大模型参数量每两年增长240倍，而AI NPU卡显存容量仅每两年翻两倍。这种巨大差距导致训练和推理时不得不堆砌NPU卡来获得更大显存，造成昂贵算力浪费和成本增加。理解这一矛盾，有助于认识EMS弹性内存存储服务试图解决的核心问题。
EMS如何打破内存墙：三层架构与三大功能
EMS基于Memory Pooling专利技术，将显存与DRAM池化整合，把传统“计算-存储”两层架构升级为“计算-内存-存储”三层架构，实现算力与内存解耦。其三大功能——显存扩展、算力卸载、以存代算——分别针对参数存储、KV计算卸载和历史KV复用，从而降低NPU部署数量并提升推理性能。
实际效果：NPU用量减半，推理性能翻倍
文章给出具体数据：使用EMS后，华为云用不到一半的NPU卡存下盘古大模型5.0，NPU部署数量降低50%；通过将KV计算卸载到EMS，单卡并发从8提升到16，推理性能提升100%；历史KV结果保存在EMS中，首Token时延从超过1秒降至0.2秒以内，降低80%。这些数据表明EMS在真实场景中已带来显著收益。
AI-Native存储方案：不止于EMS
华为云还形成了EMS弹性内存存储+SFS Turbo弹性文件存储+OBS对象存储的AI-Native智算存储解决方案，旨在实现万亿模型存得下、训练任务恢复快、海量数据存得起。EMS是其中打破内存墙的关键组件，而整体方案则覆盖了AI训练和推理对存储的多样化需求，帮助客户构建AI Native基础设施。
Q&A
EMS弹性内存存储服务的主要功能是什么？
EMS实现显存扩展、算力卸载和以存代算三大功能。
华为云如何解决AI内存墙问题？
华为云通过EMS弹性内存存储服务增加弹性内存存储层，打破AI内存墙，实现显存按需扩展。
EMS如何优化大模型推理性能？
EMS通过卸载KV计算到EMS中，提升了单卡的并发能力，推理性能提升100%。
EMS的技术基础是什么？
EMS基于Memory Pooling专利技术，将显存与DRAM进行池化和整合，升级为三层架构。
EMS对NPU卡的使用有什么影响？
使用EMS后，华为云成功降低了NPU卡的使用数量，减少了50%。
华为云的AI-Native智算存储解决方案包含哪些部分？
该解决方案包括EMS弹性内存存储、SFS Turbo弹性文件存储和OBS对象存储。
