Micropaper
·
DeepSeek Engram：颠覆GPU内存瓶颈！把知识存储从计算中分离，O(1)查找效率！
内容提要
DeepSeek与北大团队推出的Engram系统，通过分离静态知识存储与动态推理，实现O(1)查找效率，降低了对昂贵GPU内存的需求。这一创新在普通DRAM中存储大量知识，提升了大模型的性能和成本效益，尤其对中国AI公司具有重要意义。
关键要点
-
DeepSeek与北大团队推出Engram系统，分离静态知识存储与动态推理。
-
Engram实现O(1)查找效率，降低对昂贵GPU内存的需求。
-
该系统在普通DRAM中存储大量知识，提升大模型性能和成本效益。
-
当前大模型面临GPU内存昂贵、资源浪费等问题。
-
Engram通过条件内存系统解决静态知识和动态推理的分离问题。
-
Engram的核心思想是将经典N-gram嵌入现代化，实现O(1)查找。
-
Engram模块从静态内存中检索N-gram知识，具有确定性寻址和DRAM卸载特性。
-
实验结果显示，Engram在知识、推理、代码和数学任务上均有一致改进。
-
Engram降低硬件门槛，突破内存限制，对中国AI公司尤为重要。
-
未来可能出现内存-计算分离、多轴稀疏性和专用硬件加速器等新方向。
延伸解读
内存与计算的分离
Engram系统通过将静态知识存储与动态推理分离，展示了内存与计算分离的潜力。这种架构不仅提高了查找效率，还降低了对昂贵GPU内存的依赖，为AI模型的设计提供了新的思路。
对中国AI公司的影响
由于美国的出口限制，中国AI公司在获取高端GPU方面面临挑战。Engram的推出为这些公司提供了一个突破口，使其能够在不依赖昂贵硬件的情况下，提升模型性能，降低成本。
未来的技术方向
Engram的成功可能引领内存-计算分离的趋势，未来可能出现更多的稀疏性轴和专用硬件加速器。这一方向不仅有助于提升模型效率，也为AI技术的持续创新提供了基础。
延伸问答
Engram系统的主要创新是什么？
Engram系统通过分离静态知识存储与动态推理，实现了O(1)查找效率，降低了对昂贵GPU内存的需求。
Engram如何提高大模型的性能和成本效益？
Engram在普通DRAM中存储大量知识，降低了对HBM内存的需求，从而提升了大模型的性能和成本效益。
Engram的查找效率如何？
Engram实现O(1)查找效率，查找时间复杂度不随模型规模增长。
Engram系统如何解决GPU内存瓶颈问题？
Engram通过将静态知识存储卸载到普通DRAM中，减少了对昂贵GPU内存的依赖，从而解决了内存瓶颈问题。
Engram的实验结果显示了什么？
实验结果显示，Engram在知识、推理、代码和数学任务上均有一致的性能提升。
Engram对中国AI公司的重要性是什么？
Engram降低了硬件门槛，突破了内存限制，对受出口限制的中国AI公司尤为重要。
