DeepSeek-V4技术通过架构创新和后训练优化，显著提升了长上下文处理能力。其混合注意力机制和流形约束超连接提高了效率与稳定性。后训练阶段采用专家培养与全词表蒸馏，增强了Coding Agent的能力，提升了编程任务表现，标志着在长上下文与智能体能力结合上的重要进展。

DeepSeek-V4技术报告探讨了如何处理百万Token上下文，突破传统Transformer的计算瓶颈。报告介绍了两个MoE模型，强调混合注意力架构和稳定的信息传递通道，旨在提升长上下文能力，以更好地应对复杂任务。后续训练思路为先培养专家模型，再统一成一个模型，指出长上下文将成为AI的基础能力，推动模型效率重构，目标是实现高效、经济的AI应用。

本文介绍了五种高效的长上下文检索增强生成（RAG）技术，旨在解决注意力限制和成本挑战。这些技术包括通过重新排序解决“中间丢失”问题、利用上下文缓存减少延迟和计算成本，以及结合元数据过滤和查询扩展提高相关性，从而构建可扩展且精准的RAG系统，确保模型关注最相关的信息。

RLM（递归语言模型）通过在代码沙箱中执行推理，克服了传统AI在处理长上下文时的局限性。它能够直接编写程序，解决记忆不足的问题，提升复杂任务的处理能力。RLM将大问题拆解为小问题，缓存中间结果，提高效率和稳定性。该技术在合同解析、发票处理和知识库检索等领域表现优异，标志着AI工程的重大变革。

微软推出Harrier-OSS-v1，包含三种多语言文本嵌入模型，支持32,768词元的长上下文，采用解码器架构，需指令调优以提升检索性能。在多语言MTEB v2基准测试中表现优异。

LUCID Attention 提出了一种新型注意力机制，通过去相关化 key 向量，解决了长上下文模型中的噪声和学习困境，提高了信息检索精度，计算开销几乎不变，适用于长上下文任务。

麻省理工学院的研究人员提出了一种递归语言模型（RLM），旨在提升大语言模型（LLM）在长上下文任务中的表现。RLM通过编程环境递归处理输入，能够处理比基础LLM长100倍的提示。其核心在于利用编程语言（如Python）生成代码，以分块或搜索正则表达式等方式预处理提示。研究表明，RLM在长上下文基准测试中优于其他策略，有效解决了上下文窗口限制的问题。

旋转位置嵌入（RoPE）是一种编码序列中标记位置的技术，分为简单RoPE和长上下文RoPE。RoPE通过旋转矩阵变换输入张量，优化语言模型在处理长文本时的性能，特别是通过调整频率来适应长上下文长度。

中国的大语言模型正从“聊天模型”转向“思维模型”。Moonshot AI的Kimi K2思维模型实现了“深度推理、长上下文和工具调用连续性”的统一，标志着中国进入思维模型时代。K2强调推理能力，具备稳定的工具调用、深层推理链和256k上下文，推动中国模型与国际接轨。

Deepseek-OCR 提出了一种通过视觉模态高效处理文本的新方法，旨在压缩信息并提升大语言模型的效率。其核心组件 DeepEncoder 和 DeepSeek3B-MoE-A570M 在低激活状态下仍能保持高解码精度，实验表明在压缩率低于 20× 时准确率约为 60%。该技术在长上下文处理和记忆遗忘机制研究中展现出巨大潜力。

递归语言模型（RLM）是一种推理策略，允许语言模型在REPL环境中递归处理无限长度的输入上下文。研究表明，使用RLM的GPT-5-mini在长上下文基准测试中表现优于GPT-5，且查询成本更低。RLM通过将上下文视为变量，有效应对“上下文衰退”现象，提升了模型处理大规模文本的能力。

DeepSeek R1引起关注，研究者提出新注意力机制NSA，旨在提高长上下文处理效率。NSA结合硬件优化与可训练设计，克服现有稀疏注意力方法的局限性，提升模型性能与训练效率。

vLLM现已支持Qwen3-Next，采用混合架构以提升长上下文处理效率，创新点包括混合注意力、高稀疏MoE和多标记预测。

Qwen团队推出了Qwen3-Coder系列代码模型，专为长上下文和多步骤编程任务设计。最强版本Qwen3-Coder-480B-A35B-Instruct拥有4800亿参数，支持256K原生令牌，强调执行和决策。该模型通过强化学习后训练，旨在提升鲁棒性和实用性。此外，Qwen还发布了开源命令行工具Qwen Code，支持多种编程环境，并计划扩展Qwen Coding Agent的能力，探索自我改进机制。

MiniMax推出了MiniMax-M1，这是一个具有4560亿参数的开放权重语言模型，支持长上下文推理和工具使用，采用高效的“闪电注意力”机制。该模型在长上下文任务和软件工程方面表现优异，尽管用户反映其在实际应用中的局限性，但仍被视为开放权重模型的佼佼者。