美团龙猫LongCat推出新稀疏注意力机制LoZA，解码速度提升10倍，支持处理1M长文本。通过优化模型结构，降低计算复杂度，提高效率，同时保持稳定性能。该技术在长文本任务中优于同类模型，未来将支持动态稀疏比例，以适应不同场景需求。

中国联通研究团队在AAAI 2026上发布了HiMo-CLIP模型，解决了长文本图像检索中的语义层级和单调性问题。该模型通过动态特征提取和对齐机制，显著提高了长短文本的检索精度，性能优于现有模型。

DeepSeek新模型DeepSeek-OCR通过视觉压缩文本，显著提升了长文本处理效率。在OmniDocBench基准测试中，压缩率小于10倍时准确率达到97%。研究者提出的“上下文光学压缩”方法模拟人类记忆机制，可能为AGI提供新思路。

GPT-5发布后引发热议，Youtuber Berman展示其在魔方、网页Word、Excel等任务中的表现。尽管表现出色，但也遭到质疑，尤其是马斯克认为其不如Grok 4。GPT-5在多模态能力和长文本处理上有显著提升，但仍存在一些问题。

DeepSeek的梁文锋团队在ACL 2025获得最佳论文奖，提出了原生稀疏注意力（NSA）机制，处理长文本的速度提升了11倍，性能超越传统模型。NSA通过动态分层策略优化计算，显著提高推理和训练效率，尤其在复杂推理任务中表现突出。

研究发现，长文本输入（超过1万tokens）会显著降低大型语言模型（LLM）的性能，准确率从90%降至50%。不同模型在处理长文本时表现差异，输入内容的语义特征和结构也会影响性能衰减。实验揭示了模型在长上下文任务中的局限性，建议优化指令和保存上下文以提升性能。

该研究提出了细粒度CLIP（FG-CLIP），通过生成16亿对长文本与图像，增强了模型对细微语义差异的识别能力。实验结果表明，FG-CLIP在多个任务中超越了原始CLIP及其他方法，有效提升了模型性能。

本研究提出FineLIP方法，解决CLIP模型在处理长文本时的局限性，通过细粒度对齐实现文本与图像的跨模态映射，实验结果表明其在长文本检索和生成任务中优于现有方法。

本研究回顾了大型语言模型在处理长文本时性能下降的问题，提出了四种解决方法：位置编码、上下文压缩、检索增强和注意力模式，并强调了长文本的评估及未来发展方向。

本研究提出了一种新的服从-sympow变压器，旨在解决传统对称幂变压器在处理长文本时的信息保留不足问题。通过数据依赖的乘法门控和自适应旋转嵌入技术，该方法能够动态释放和存储容量，初步实验显示其在训练和评估中表现优异，有效克服了对称幂变压器的局限性。

飞桨PP-UIE是一个支持中英文的信息抽取大模型，具备强大的零样本和小样本学习能力，能够高效处理长文本，适用于多种应用场景。