Kimi K3模型采用KDA机制，通过0.22GB的在线学习状态矩阵在对话中实时更新记忆，实现跨会话持续学习。它删除位置编码，用衰减体现顺序，支持泛化联想。未来可通过状态保存、分层记忆和外挂数据库，让AI记住用户，但容量扩大面临延迟和工程挑战。

Kimi K3采用KDA与MLA混合注意力架构，引入循环状态缓存，改变传统KV缓存语义。Mooncake与SGLang、vLLM、TokenSpeed合作，实现KDA感知的检查点管理、跨实例缓存复用及统一数据传输平面，支持百万级长上下文推理，降低冗余计算，提升多轮对话和智能体任务效率。