从GPT-2到Kimi K3，七年参数增长22580倍，核心是解决记忆体有限问题。架构演进从KV缓存、线性注意力到DeltaNet、Gated DeltaNet、KDA，逐步优化读写效率。Kimi K3结合多头潜在注意力、混合专家模型和注意力残差，实现高效存储与计算，突破规模限制。