Micropaper
·
DeepSeek Engram：颠覆GPU内存瓶颈！把知识存储从计算中分离，O(1)查找效率！
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
DeepSeek与北大团队推出的Engram系统，通过分离静态知识存储与动态推理，实现O(1)查找效率，降低了对昂贵GPU内存的需求。这一创新在普通DRAM中存储大量知识，提升了大模型的性能和成本效益，尤其对中国AI公司具有重要意义。
🎯
关键要点
- DeepSeek与北大团队推出Engram系统，分离静态知识存储与动态推理。
- Engram实现O(1)查找效率，降低对昂贵GPU内存的需求。
- 该系统在普通DRAM中存储大量知识，提升大模型性能和成本效益。
- 当前大模型面临GPU内存昂贵、资源浪费等问题。
- Engram通过条件内存系统解决静态知识和动态推理的分离问题。
- Engram的核心思想是将经典N-gram嵌入现代化，实现O(1)查找。
- Engram模块从静态内存中检索N-gram知识，具有确定性寻址和DRAM卸载特性。
- 实验结果显示，Engram在知识、推理、代码和数学任务上均有一致改进。
- Engram降低硬件门槛，突破内存限制，对中国AI公司尤为重要。
- 未来可能出现内存-计算分离、多轴稀疏性和专用硬件加速器等新方向。
➡️
