为什么苹果、小米的 AI 电脑，都在死磕「内存墙」｜AI 器物志
内容提要
AI时代，芯片性能瓶颈从算力转向内存带宽。苹果、小米、英伟达等厂商通过统一内存、3D堆叠、HBM等技术提升数据传输速度，以应对大模型对数据的巨大需求。这源于“内存墙”问题，即算力增速远超内存带宽，导致处理器等待数据。未来芯片设计需让数据少走弯路，硬件物理法则仍不可逃避。
延伸解读
内存带宽为何成为AI芯片新焦点
文章指出，AI时代芯片性能瓶颈已从算力转向内存带宽。大模型运行时，每生成一个token都需读取全部参数权重，导致计算单元常处于等待数据的状态，即“内存受限”。苹果、小米、英伟达等厂商纷纷提升内存带宽，如M5 Ultra达1.2TB/s，玄戒O100为1.22TB/s，RTX 5090接近1.8TB/s，正是为了缓解这一瓶颈。
高带宽内存的成本与产能挤压
高带宽内存（如HBM）制造难度大、成本高，且上游厂商将产能向AI数据中心倾斜，挤压了消费级内存供给。文章提到美光退出消费级内存业务，SK海力士关闭第三方品牌授权店，反映出消费级内存价格可能上涨，普通用户升级内存的预算正与AI数据中心争夺晶圆产能。
四大技术路径应对内存墙
芯片界从不同维度应对内存墙：一是物理加宽位宽（如GDDR7、HBM）；二是3D堆叠缩短物理距离（如玄戒O100）；三是统一内存与高速接口减少数据搬运（如苹果统一内存、雷雳5）；四是存内计算（PIM/CIM）将计算移至存储旁。这些路径共同指向一个方向：让数据少走弯路。
内存墙问题的历史与本质
“内存墙”概念早在1995年由William A. Wulf和Sally A. McKee提出，指算力增速远超内存带宽增速，导致处理器等待数据。文章强调，尽管AI模型日新月异，但底层硬件仍受冯·诺依曼架构存算分离的物理限制，无法逃避数据搬运的代价，这提醒我们关注硬件物理法则的不可逾越性。
Q&A
什么是“内存墙”问题？
“内存墙”是指处理器算力增速远超内存带宽增速，导致处理器需要花费大量时间等待数据从内存传输过来，从而限制了整体性能的现象。这个概念最早由William A. Wulf和Sally A. McKee在1995年的论文《Hitting the Memory Wall》中提出。
为什么AI时代内存带宽变得比算力更重要？
因为大模型在生成每个token时都需要读取全部参数权重，数据搬运量巨大，如果内存带宽不足，即使算力再高，芯片也会因等待数据而空转，导致性能瓶颈。因此，提升内存带宽成为AI硬件设计的关键。
苹果、小米、英伟达分别采用了哪些技术来提升内存带宽？
苹果采用统一内存架构，让CPU和GPU共享同一内存池，避免数据拷贝；小米的玄戒O100采用晶圆级垂直堆叠，将DRAM直接堆叠在NPU上方，缩短物理距离；英伟达RTX 5090采用512-bit位宽和GDDR7显存，将带宽提升至1.8TB/s。
HBM和GDDR7在提升带宽上有什么不同？
HBM通过垂直堆叠多层DRAM芯片并使用TSV技术实现高带宽，主要用于AI服务器；GDDR7则通过更宽的位宽和更高频率实现高带宽，主要用于消费级显卡。两者都是通过物理加宽数据通道来提升带宽，但HBM的制造难度和成本更高。
统一内存相比传统分离式内存有什么优势？
统一内存让CPU和GPU共享同一内存池，避免了数据在CPU内存和GPU显存之间来回拷贝，减少了数据搬运的延迟和功耗，从而提升了整体性能。
PIM和存内计算是什么？它们如何解决内存墙问题？
PIM（Processing-in-Memory）是将计算单元集成到内存颗粒附近，减少数据回传；存内计算（CIM）则利用存储介质的物理特性直接进行矩阵运算。这两种技术旨在将计算搬到内存旁边，减少数据搬运，但目前在通用性和编译器生态上还不成熟。
内存带宽和内存容量有什么区别？为什么带宽更重要？
内存容量决定能装下多大的模型，而带宽决定数据每秒能传输多少。在AI推理时，模型参数需要反复读取，如果带宽不足，即使容量足够，计算单元也会因等待数据而效率低下，因此带宽成为瓶颈。
为什么内存带宽的提升会导致内存价格上涨？
因为高带宽内存（如HBM）制造难度大，需要先进封装和垂直堆叠技术，成本高昂。同时，AI数据中心对高带宽内存需求激增，存储厂商将产能向企业级倾斜，挤压了消费级内存供给，导致价格上涨。
