DeepSeek与阿里通义推出Engram/N-Gram记忆模块，为Transformer增加“记忆硬盘”，将固定知识查找从计算中分离，提升推理效率。实验显示性能提升，但社区测试发现其擅长短语补全而非事实回忆，且DeepSeek V4未采用Engram。该技术尚处探索阶段，可能改变AI竞赛格局。

从GPT-2到Kimi K3，七年参数增长22580倍，核心是解决记忆体有限问题。架构演进从KV缓存、线性注意力到DeltaNet、Gated DeltaNet、KDA，逐步优化读写效率。Kimi K3结合多头潜在注意力、混合专家模型和注意力残差，实现高效存储与计算，突破规模限制。