KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96%
内容提要
百度发布并开源文心Unlimited OCR 2，可连续解析数千页超长文档。其核心技术SR-SWA借鉴人抄书思路，按需筛选相关页面与视觉信息以减少重复计算，并配合分块解码机制及时释放缓存。百页级测试中峰值KV缓存从47GB降至1.77GB，减少约96%，单步解码速度达全注意力的7倍。实测884页《指环王》约43分钟读完，跨页内容衔接准确。团队称这标志OCR进入3.0时代。
延伸解读
KV缓存降96%的实际意义
文章显示，百页级测试中峰值KV缓存从47GB降至1.77GB，减少约96%。这意味着原本需要大显存才能处理的超长文档，现在在更小显存条件下也能运行。对于批量处理年报、技术手册等场景，同样一块卡能容纳更多任务，降低硬件门槛。但需注意，1.77GB仅指KV缓存，模型权重等其他开销另计，实际部署仍需综合评估总显存需求。
SR-SWA与分块解码的分工
SR-SWA通过Page Gate和Token Sieve两层筛选，减少每一步需要参考的视觉信息，使单步解码速度达到全注意力的7倍，且不随文档变长而明显变慢。分块解码则控制缓存占用，通过重叠页复用和及时释放，将视觉缓存压在当前处理块规模内。两者配合，一个管少算，一个管少存，共同支撑超长文档的连续解析。
长文档衔接能力的实测验证
文章用884页《指环王》实测，约43分钟完成解析，平均每页2.9秒。抽查第600页和第750页正文，识别文本与原文一致，说明长文档后段质量未明显下降。系统还标记了466处跨页合并，将分页截断的句子重新接回。这表明模型在连续解析时能维持跨页内容衔接，但实测仅覆盖英文小说，其他文档类型的表现需参考技术报告中的基准测试。
OCR 3.0的定位与适用边界
团队将OCR 3.0定义为持续处理整份文档，不分页、无限解析。相比OCR 1.0的流水线分页处理和OCR 2.0的端到端数十页解析，新一代重点解决数百页级文档的衔接与开销问题。不过，文章也指出单页综合得分与上一代基本持平，优势主要体现在文档变长后的连续处理能力。因此，对于短文档场景，升级带来的收益可能有限；长文档、扫描件批量转写才是其主要适用方向。
Q&A
文心Unlimited OCR 2是什么？它有什么主要特点？
文心Unlimited OCR 2是百度发布并开源的一款OCR模型，能够连续解析数千页超长文档。其主要特点是采用稀疏参考滑动窗口注意力机制（SR-SWA）和分块解码机制，大幅降低KV缓存占用和计算开销，实现超长文档的连续识别。
SR-SWA机制是如何工作的？
SR-SWA（稀疏参考滑动窗口注意力）借鉴人类抄书时局部聚焦的思路，分两层筛选：第一层Page Gate根据当前解析位置筛选出相关页面；第二层Token Sieve从这些页面中挑选出与当前内容最相关的视觉信息块（通过TopK选择固定数量的块）。这样模型只需处理少量相关视觉信息，减少重复计算。
分块解码机制如何降低显存占用？
分块解码机制（Unlimited-Horizon Decoding Paradigm）将文档划分为大小可控的页面块，依次解析。相邻块重叠一页，复用重叠页的视觉KV缓存和上一段输出末尾的文本缓存，确保前后衔接。其余不再需要的页面视觉缓存及时释放，从而将显存占用控制在当前处理块的规模内。
文心Unlimited OCR 2在性能上有哪些提升？
在百页级测试中，峰值KV缓存从47GB降至1.77GB，减少约96%；单步解码速度达到全注意力的7倍、上一代R-SWA的5.6倍；16路并发测试中端到端吞吐量从360提升至1315 Token/秒，约为标准解码的3.65倍。
文心Unlimited OCR 2的实际效果如何？比如能处理多长的文档？
实测中，它用约43分钟读完了884页的英文版《指环王》，平均每页耗时约2.9秒，且第600页和第750页的识别文本与原文一致，并标记了466处跨页合并。此外，它还能连续识别7部《哈利·波特》（3600+页）和《三体》全集（1200+页）。
OCR 3.0时代指的是什么？文心Unlimited OCR 2在其中扮演什么角色？
OCR 3.0时代指OCR技术从流水线式（1.0）和端到端数十页解析（2.0）演进到能够持续处理整份文档、不分页、无限解析的新阶段。文心Unlimited OCR 2通过按需参考与分块解码，实现了超长文档的连续解析，同时控制计算和缓存开销，是OCR 3.0的代表性模型。
