本文总结Kimi K3模型结构对训练与推理系统的影响。KDA采用三种执行形态（FlashKDA、设备内上下文并行、状态回滚）处理固定大小状态；上下文并行通过可结合前缀扫描分解，避免直接加和；Block AttnRes优化内存通信；Stable LatentMoE融合GEMM与token中心解码；混合架构前缀缓存解耦粒度，支持512-token边界复用；视觉编码器动态并行并填充流水线气泡。核心是将固定权重累加转为数据相关选择。