百度推出的Unlimited OCR模型在长文档处理上刷新了SOTA，采用参考滑动窗口注意力机制，模拟人类阅读方式，解决了传统OCR的显存膨胀问题。该模型在OmniDocBench上表现优异，推理效率提升35%，并计划扩展到语音识别和机器翻译等任务。

Transformer模型是现代语言AI的基础，使用注意力机制处理上下文生成输出。Character.AI提出了MixAttention架构，通过滑动窗口注意力和KV缓存共享来减少缓存大小，提高推理速度和降低成本。实验证明，MixAttention模型在保持模型质量的同时，提高了推理速度和内存占用。