本文总结Kimi K3模型结构对训练与推理系统的影响。KDA采用三种执行形态（FlashKDA、设备内上下文并行、状态回滚）处理固定大小状态；上下文并行通过可结合前缀扫描分解，避免直接加和；Block AttnRes优化内存通信；Stable LatentMoE融合GEMM与token中心解码；混合架构前缀缓存解耦粒度，支持512-token边界复用；视觉编码器动态并行并填充流水线气泡。核心是将固定权重累加转为数据相关选择。

本文介绍了大语言模型中的推理缓存技术，强调其基本概念和重要性。推理缓存通过存储计算结果，减少重复计算，从而降低成本和延迟。主要有三种缓存类型：键值缓存（KV缓存）、前缀缓存和语义缓存。合理选择和组合这些缓存策略，可以显著提升生产系统的效率。