本文探讨了长上下文处理的挑战，提出了自反程序搜索框架（SRLM），通过不确定性自反增强编程交互。SRLM利用自一致性、推理轨迹长度和语言信心等信号评估上下文交互程序，实验表明SRLM在多种基准数据集上表现优于现有模型，提升达22%。研究发现，递归并非RLM性能的主要驱动因素，自反程序搜索在短长上下文中均表现出一致的优势。

文章讨论了本地AI模型与云端服务的对比，指出24GB内存的局限性，难以支持复杂任务。作者经历了从OpenClaw到Hermes框架的转变，发现本地模型在处理长上下文时常出现错误，且量化版本的质量差异显著。尽管本地模型有优势，但最终仍需依赖云端服务以提高效率，反映出效率与数据控制之间的矛盾。

Subquadratic推出了小型模型SubQ 1.1，采用稀疏注意机制，能够处理长达1200万标记的上下文，显著提高计算效率。该模型在长上下文检索方面表现优异，适合企业数据处理需求。公司计划逐步向公众开放模型，并探索更高效的架构。

美团发布的LongCat-2.0模型具有“万亿参数”和长上下文能力，旨在提升代码理解与生成效率。该模型通过国产算力集群实现全流程训练，标志着大模型工程化的新阶段，未来需关注其在真实软件工程中的应用效果。

Qwythos-9B-Claude-Mythos-5-1M模型发布，具备1M上下文，推理能力引发热议。尽管在医学诊断上表现优异，但也出现错误。模型偏保守，需调整采样参数以优化性能。团队计划进一步改进，未来将实现自适应思考。整体来看，模型在长上下文处理上有潜力，但实际应用仍需克服硬件和参数设置的挑战。

中国科学技术大学、浙江大学与腾讯合作提出了MMPO算法，解决长上下文记忆中的信息衰减问题。该算法通过监控信念熵，动态调整信息检索策略，在175万token的上下文中保持97.1%的性能，显著优于传统递归总结方法，实现了计算成本与记忆精度之间的自适应平衡。

DeepSeek-V4技术通过架构创新和后训练优化，显著提升了长上下文处理能力。其混合注意力机制和流形约束超连接提高了效率与稳定性。后训练阶段采用专家培养与全词表蒸馏，增强了Coding Agent的能力，提升了编程任务表现，标志着在长上下文与智能体能力结合上的重要进展。

DeepSeek-V4技术报告探讨了如何处理百万Token上下文，突破传统Transformer的计算瓶颈。报告介绍了两个MoE模型，强调混合注意力架构和稳定的信息传递通道，旨在提升长上下文能力，以更好地应对复杂任务。后续训练思路为先培养专家模型，再统一成一个模型，指出长上下文将成为AI的基础能力，推动模型效率重构，目标是实现高效、经济的AI应用。

本文介绍了五种高效的长上下文检索增强生成（RAG）技术，旨在解决注意力限制和成本挑战。这些技术包括通过重新排序解决“中间丢失”问题、利用上下文缓存减少延迟和计算成本，以及结合元数据过滤和查询扩展提高相关性，从而构建可扩展且精准的RAG系统，确保模型关注最相关的信息。

RLM（递归语言模型）通过在代码沙箱中执行推理，克服了传统AI在处理长上下文时的局限性。它能够直接编写程序，解决记忆不足的问题，提升复杂任务的处理能力。RLM将大问题拆解为小问题，缓存中间结果，提高效率和稳定性。该技术在合同解析、发票处理和知识库检索等领域表现优异，标志着AI工程的重大变革。

微软推出Harrier-OSS-v1，包含三种多语言文本嵌入模型，支持32,768词元的长上下文，采用解码器架构，需指令调优以提升检索性能。在多语言MTEB v2基准测试中表现优异。

LUCID Attention 提出了一种新型注意力机制，通过去相关化 key 向量，解决了长上下文模型中的噪声和学习困境，提高了信息检索精度，计算开销几乎不变，适用于长上下文任务。

麻省理工学院的研究人员提出了一种递归语言模型（RLM），旨在提升大语言模型（LLM）在长上下文任务中的表现。RLM通过编程环境递归处理输入，能够处理比基础LLM长100倍的提示。其核心在于利用编程语言（如Python）生成代码，以分块或搜索正则表达式等方式预处理提示。研究表明，RLM在长上下文基准测试中优于其他策略，有效解决了上下文窗口限制的问题。

旋转位置嵌入（RoPE）是一种编码序列中标记位置的技术，分为简单RoPE和长上下文RoPE。RoPE通过旋转矩阵变换输入张量，优化语言模型在处理长文本时的性能，特别是通过调整频率来适应长上下文长度。

中国的大语言模型正从“聊天模型”转向“思维模型”。Moonshot AI的Kimi K2思维模型实现了“深度推理、长上下文和工具调用连续性”的统一，标志着中国进入思维模型时代。K2强调推理能力，具备稳定的工具调用、深层推理链和256k上下文，推动中国模型与国际接轨。

Deepseek-OCR 提出了一种通过视觉模态高效处理文本的新方法，旨在压缩信息并提升大语言模型的效率。其核心组件 DeepEncoder 和 DeepSeek3B-MoE-A570M 在低激活状态下仍能保持高解码精度，实验表明在压缩率低于 20× 时准确率约为 60%。该技术在长上下文处理和记忆遗忘机制研究中展现出巨大潜力。