DeepSeek-V4.1 的 SGLang 服务栈优化包括：采用低比率压缩与滑动窗口注意力，跨层共享压缩 KV 和索引选择；Engram 表可卸载至主机内存，KV 缓存容量提升 36% 且吞吐相当；SWA 有界重放以有限重算换取缓存节省，解码端预填吞吐在 H200 上提升 1.56 倍；内核融合与 FP4 索引优化执行效率；Miles 训练后端支持量化感知训练与路由重放，训练与推理的对数概率差距小且稳定。

百度推出的Unlimited OCR模型在长文档处理上刷新了SOTA，采用参考滑动窗口注意力机制，模拟人类阅读方式，解决了传统OCR的显存膨胀问题。该模型在OmniDocBench上表现优异，推理效率提升35%，并计划扩展到语音识别和机器翻译等任务。

Transformer模型是现代语言AI的基础，使用注意力机制处理上下文生成输出。Character.AI提出了MixAttention架构，通过滑动窗口注意力和KV缓存共享来减少缓存大小，提高推理速度和降低成本。实验证明，MixAttention模型在保持模型质量的同时，提高了推理速度和内存占用。