Agent时代长上下文推理导致KV Cache急剧膨胀，显存不足会清空缓存并触发重复Prefill，推高首Token延迟。英特尔提出以CPU管理分层存储与硬件压缩为核心的优化方案，包括KV Shrink、KV Fuse、KV Cascade和KV Infinity，并借助QAT加速压缩。测试表明该方案可显著降低TTFT、节省缓存空间，使GPU专注生成新Token。
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用write-back策略在GPU、DRAM、SSD间分层存储；集群层面用一致性哈希实现缓存亲和，并按请求类别分配预算以应对长请求突发。
本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维KV向量，采用重叠窗口和逐通道softmax加权，K与V共享单头，配合分组输出投影降低参数。相比前代，V4首次压缩缓存条目数，以支持1M上下文的高效推理。
本研究提出了现代GBERT系列德国编码器模型，旨在满足资源有限时对编码器模型的需求。该模型在自然语言理解、文本嵌入和长上下文推理任务上表现优异，推动了德国NLP生态系统的发展。
本文提出了MLRBench，一个新的多语言长上下文推理基准，旨在克服现有基准的局限性。研究表明，高资源语言与低资源语言之间存在显著差距，且大型语言模型在多语言环境中有效利用的上下文长度不足30%。
本文探讨了大型语言模型（LLMs）在长上下文推理中的挑战，并提出了一种后训练合成数据生成策略，以扩展LLMs的上下文窗口。研究表明，该模型在高达100万标记的上下文长度下表现良好，同时在通用语言任务中保持稳定性能。
InftyThink方法通过将推理转变为迭代过程，突破了大语言模型在长上下文推理中的计算复杂性和性能限制，实现了无限推理深度和有限计算成本。实验结果表明，该方法在多个基准测试中提升了性能并降低了计算开销。
本研究提出APB框架，通过在GPU之间传递压缩上下文块，解决大型语言模型长上下文推理的效率瓶颈。该框架优化了计算和并行性，显著提升了预填充速度，同时保持了任务性能。
完成下面两步后，将自动完成登录并继续当前操作。
