Kimi K3技术报告解析：选择性遗忘如何破解大模型内存墙
内容提要
Kimi K3通过“选择性遗忘”机制，以固定大小记忆替代无限增长的KV缓存，降低75%内存并提速6倍，以2.8万亿参数实现开源模型顶尖性能。其KDA技术混合压缩与遗忘，兼顾效率与精确回忆，成本降至每百万token 0.3美元，但长距离细节检索仍有局限。
延伸解读
选择性遗忘的代价：精确回忆的局限
K3通过KDA机制在大部分层使用固定大小的记忆，仅保留四分之一层用于精确回忆。这种设计虽然大幅降低内存，但固定记忆在长距离细节检索上仍不可靠。文章指出，模型可能无法准确回溯很久以前的对话细节，甚至可能因遗忘而生成不准确的内容。用户在使用时需注意，对于需要精确历史信息的场景，K3可能不如全注意力模型可靠。
成本优势的真相：缓存命中是关键
K3的定价优势主要体现在缓存命中时，每百万token仅0.3美元，而未命中时则为3美元。文章强调，缓存命中率在编程任务中超过90%，但实际成本取决于用户是否有效利用缓存。对于频繁重复使用相同上下文的场景，如智能体反复访问同一代码库，成本优势显著；但对于一次性长对话，成本可能更高。用户需根据使用模式评估实际费用。
技术取舍：压缩与遗忘的平衡
K3的KDA机制并非单纯压缩，而是结合了遗忘和精确回忆。文章对比了四种注意力机制：共享、压缩、滑动窗口和线性注意力，K3选择了混合方案，在大多数层使用固定状态，少数层保留压缩的精确记录。这种设计在内存节省和性能之间取得平衡，但用户需理解，模型并非“过目不忘”，而是有选择地记忆，可能影响对早期信息的回忆能力。
Q&A
Kimi K3如何通过选择性遗忘机制降低内存占用？
Kimi K3采用KDA（Kimi Delta Attention）机制，在四分之三的层中使用固定大小的记忆状态替代无限增长的KV缓存，只在四分之一层保留MLA压缩的精确回忆路径。这使内存占用降低75%，生成速度提升6倍。
Kimi K3的KDA机制相比传统注意力机制有哪些改进？
KDA引入了delta规则更新记忆，并给每个通道分配可学习的遗忘速率（α），实现精细控制。相比传统注意力，KDA在保持固定记忆大小的同时，能更好地平衡效率与精确回忆。
Kimi K3的上下文窗口有多大？其价格如何？
Kimi K3支持100万token的上下文窗口。缓存未命中时每百万输入token收费3美元，缓存命中时仅0.3美元，输出部分15美元。在编程任务中缓存命中率超过90%。
Kimi K3在长距离细节检索方面有什么局限性？
K3的固定记忆在精确检索远距离细节时不够可靠，可能无法一字不差地回溯很久以前的对话内容。因此，它保留了四分之一层的MLA用于精确回忆，但整体上仍存在局限。
Kimi K3的训练过程分为哪几个阶段？
训练分为三个阶段：第一阶段用海量文本、代码、数学、知识库和视觉数据预训练，学习通用能力；第二阶段用强化学习训练长任务，如写代码、网页代理等；第三阶段将不同方向的专家策略蒸馏到一个最终模型中。
Kimi K3在模型架构上还有哪些其他创新？
K3还采用了注意力残差、稳定潜在MoE、分位数均衡、每个注意力头单独更新（Muon）以及四比特量化等技术，以应对规模扩大带来的通信、负载均衡和存储问题。
Kimi K3在哪些任务上表现突出？
K3在长任务上表现突出，如软件工程问题、网页浏览代理、专业文档处理、视觉编程等。官方测试中，K3排名仅次于Claude Fable 5和GPT-5.6 Sol，超过所有开源模型。
