DeepSeek-V4.1 借鉴 YOCO，提出 CED 结构：decoder 的全局 KV 由 encoder 末态投影得到；prompt 中多数 token 只计算前 20 层，激活参数约 8B，而 decode 阶段使用全部 40 层，约 16B。为补充 decoder 滑窗 KV，采用 Decoder SWA Bounded Replay，仅回放最后 128 个 token，属于近似重建，但开销远低于精确重建。

NVIDIA公布HSTU推荐部署流程，采用PyTorch AOTI编译、FlexKV缓存与Dynamo-Triton服务，八层模型满命中时延迟最高改善5.93倍，但收益取决于用户历史前缀复用率，50%命中时加速不足2倍。建议先验证输出一致性，再测试各命中率下的延迟、缓存失效与显存淘汰，并将推荐质量纳入验收，按每千次请求节省的GPU毫秒决策。

2026英特尔技术创新与产业生态大会在苏州举行，忆联作为英特尔中国区首家国产SSD战略合作伙伴，联合发布面向Agentic AI时代的高性能KV Cache G3.5方案。该方案以至强6处理器为核心，基于UH812a企业级SSD构建分层KV Cache架构，将扩展容量从单卡HBM几十GB提升至系统级。忆联还展出UH713a、UH812c/UH832c、UM301a等企业级SSD产品。

文章澄清上下文窗口与KV Cache的区别：前者是单次请求的容量上限，后者是自回归解码中缓存历史Key/Value、以空间换时间的计算账本。DeepSeek V4.1 Flash将全局KV Cache降至每Token约890字节，但整机显存还需计入权重、并发等。长上下文不等于召回准，也不等于长期记忆，部署需实测峰值显存与延迟。

本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维KV向量，采用重叠窗口和逐通道softmax加权，K与V共享单头，配合分组输出投影降低参数。相比前代，V4首次压缩缓存条目数，以支持1M上下文的高效推理。

文章讨论了KV缓存分析器的功能，包括自定义追踪、缓存块大小设置和缓存驱逐策略（FIFO、LRU或最佳）。用户可以在浏览器中计算缓存命中率和缓存大小，并提供反馈或报告问题。

EpiCache是一种KV缓存管理框架，专为长对话问答设计，旨在优化在固定内存预算下的缓存增长。通过块状预填充和情节相关的KV压缩，EpiCache提高了准确性，减少了延迟和内存使用，支持高效的多轮交互。

本文探讨了大语言模型中KV Cache的产生与管理及其在推理过程中的重要性。KV Cache通过缓存历史K/V向量，优化生成过程并减少计算复杂度。Prefill阶段处理所有输入，而Decode阶段逐步生成输出，二者需分离以提升性能。vLLM采用页式内存管理，解决内存碎片问题，提升存储效率，确保高效的推理系统。

TurboQuant是谷歌推出的一种新算法套件，旨在高效压缩大型语言模型和向量搜索引擎，且不损失准确性。它采用两阶段压缩过程：PolarQuant和QJL，显著降低缓存内存消耗至3位。PolarQuant通过极坐标系统简化数据几何，消除内存开销，而QJL去除潜在偏差，确保高精度的注意力分数。TurboQuant提供了高效的KV缓存压缩解决方案。

Redis协议已成为key-value存储的标准。为实现强一致性，作者创建了coredb项目，采用Raft算法和RocksDB。Rockraft框架解耦核心逻辑，支持开发者构建强一致性存储系统，使用Rust开发，具备高性能和安全性，支持条件事务，持续进化中。

研究者探讨了世界模型代理（WAM）在测试阶段是否需要显式未来想象，提出了Fast-WAM架构，训练时保留视频共训练，推理时跳过未来预测。结果显示，视频预测主要在训练阶段提升模型性能，而非在推理阶段生成未来观测。

本文介绍了大型语言模型（LLM）推理的两个阶段：预填充和解码。预填充阶段通过并行处理整个提示，计算并存储每个令牌的键（K）和值（V）。解码阶段逐个生成令牌，使用新令牌的查询（Q）与缓存的键和值进行计算，从而提高解码效率，特别是在处理长提示和生成响应时。

谷歌的新算法TurboQuant将AI推理中的KV缓存压缩了6倍，且无损精度，导致美光和西部数据股价大跌。该算法通过极坐标量化和量化JL变换，显著降低内存需求并提升速度，可能会改变AI的内存使用方式。

本文介绍了自回归变换器推理中键值（KV）缓存的作用，如何通过缓存已计算的键和值来消除冗余计算，从而显著提高生成速度，推理速度提升可达3-5倍。尽管内存使用增加，但在实际应用中，这种提升是值得的。理解KV缓存为进一步优化推理提供了基础。

vLLM 0.11.0引入KV缓存卸载功能，将缓存转移至CPU内存（DRAM），提升推理吞吐量。通过缓存KV值，降低计算需求，改善请求延迟和每节点吞吐量。新API支持异步加载和存储KV数据，优化GPU与CPU间的数据传输，显著提升性能。