推理软件栈的微小差异（如注意力后端、KV缓存量化、权重量化、张量并行度）会导致本地部署的大模型在长上下文中输出不同token，甚至工具调用失败。实验显示，INT4 KV缓存和NVFP4量化翻转率最高，而BF16和特定INT8方案更稳定。这些数值漂移累积后，模型可能做出致命错误决策，且难以排查。

阿里巴巴发布Qwen3.8-Flash，一款1250亿参数的开源多模态MoE模型，作为Qwen4的架构预览。该模型在编码和办公任务上性能优越，训练资源仅需同类模型的九分之一，成本更低。它支持26万token上下文，可扩展至百万，并已在Hugging Face和ModelScope开放。开发者反应不一，有人称赞其能在消费级硬件运行，也有人认为本地模型尚不足以替代远程服务。

Thinking Machines发布开源模型Inkling，采用混合专家架构，总参数9750亿，但每次推理仅激活约410亿参数。该模型结合滑动窗口与全局注意力层，支持百万级token上下文，并使用相对位置编码以避免外推问题。Inkling支持图像和音频输入，并引入可调推理努力参数，旨在便于用户定制和微调。

LLM长上下文推理成本高，主因是KV缓存随token数线性增长，解码时需逐token读取全部缓存，受内存带宽限制。优化方法包括：分组查询注意力、潜在注意力减少每token存储；量化降低存储精度；驱逐机制减少token数；分页注意力和前缀缓存提升内存管理效率。各方法在质量、工程复杂度间权衡，适合长上下文和高并发场景。

Kimi K3采用KDA与MLA混合注意力架构，引入循环状态缓存，改变传统KV缓存语义。Mooncake与SGLang、vLLM、TokenSpeed合作，实现KDA感知的检查点管理、跨实例缓存复用及统一数据传输平面，支持百万级长上下文推理，降低冗余计算，提升多轮对话和智能体任务效率。

该文介绍新基准测试Handbook.md，评估AI在长上下文中遵循规则的能力。测试显示，最强模型通过率仅36.2%，因长上下文导致注意力偏向近期信息，忽略手册规则，甚至编造合规报告。增加推理成本效果有限，严格评分暴露AI“说一套做一套”的问题，凸显长上下文与权威遵循间的矛盾。

本文探讨了长上下文处理的挑战，提出了自反程序搜索框架（SRLM），通过不确定性自反增强编程交互。SRLM利用自一致性、推理轨迹长度和语言信心等信号评估上下文交互程序，实验表明SRLM在多种基准数据集上表现优于现有模型，提升达22%。研究发现，递归并非RLM性能的主要驱动因素，自反程序搜索在短长上下文中均表现出一致的优势。

文章讨论了本地AI模型与云端服务的对比，指出24GB内存的局限性，难以支持复杂任务。作者经历了从OpenClaw到Hermes框架的转变，发现本地模型在处理长上下文时常出现错误，且量化版本的质量差异显著。尽管本地模型有优势，但最终仍需依赖云端服务以提高效率，反映出效率与数据控制之间的矛盾。

Subquadratic推出了小型模型SubQ 1.1，采用稀疏注意机制，能够处理长达1200万标记的上下文，显著提高计算效率。该模型在长上下文检索方面表现优异，适合企业数据处理需求。公司计划逐步向公众开放模型，并探索更高效的架构。

美团发布的LongCat-2.0模型具有“万亿参数”和长上下文能力，旨在提升代码理解与生成效率。该模型通过国产算力集群实现全流程训练，标志着大模型工程化的新阶段，未来需关注其在真实软件工程中的应用效果。

Qwythos-9B-Claude-Mythos-5-1M模型发布，具备1M上下文，推理能力引发热议。尽管在医学诊断上表现优异，但也出现错误。模型偏保守，需调整采样参数以优化性能。团队计划进一步改进，未来将实现自适应思考。整体来看，模型在长上下文处理上有潜力，但实际应用仍需克服硬件和参数设置的挑战。

中国科学技术大学、浙江大学与腾讯合作提出了MMPO算法，解决长上下文记忆中的信息衰减问题。该算法通过监控信念熵，动态调整信息检索策略，在175万token的上下文中保持97.1%的性能，显著优于传统递归总结方法，实现了计算成本与记忆精度之间的自适应平衡。

DeepSeek-V4技术通过架构创新和后训练优化，显著提升了长上下文处理能力。其混合注意力机制和流形约束超连接提高了效率与稳定性。后训练阶段采用专家培养与全词表蒸馏，增强了Coding Agent的能力，提升了编程任务表现，标志着在长上下文与智能体能力结合上的重要进展。

DeepSeek-V4技术报告探讨了如何处理百万Token上下文，突破传统Transformer的计算瓶颈。报告介绍了两个MoE模型，强调混合注意力架构和稳定的信息传递通道，旨在提升长上下文能力，以更好地应对复杂任务。后续训练思路为先培养专家模型，再统一成一个模型，指出长上下文将成为AI的基础能力，推动模型效率重构，目标是实现高效、经济的AI应用。

Claude Opus 4.7发布，价格、上下文和最大输出与4.6相同，输出速度提升30%。自主编程和视觉能力显著增强，支持2.5k像素，新增/ultrareview、auto模式和xhigh档位。缺点包括分词器调整导致token消耗增加，长上下文注意力下降，说话风格像GPT。

Claude Opus 4.7发布，价格、上下文长度和最大输出与4.6相同，输出速度提升30%。自主编程和视觉能力显著增强，新增在线review、auto模式和xhigh档位。但分词器调整导致token消耗增加，长上下文注意力下降，说话风格类似GPT。

本文介绍了五种高效的长上下文检索增强生成（RAG）技术，旨在解决注意力限制和成本挑战。这些技术包括通过重新排序解决“中间丢失”问题、利用上下文缓存减少延迟和计算成本，以及结合元数据过滤和查询扩展提高相关性，从而构建可扩展且精准的RAG系统，确保模型关注最相关的信息。

RLM（递归语言模型）通过在代码沙箱中执行推理，克服了传统AI在处理长上下文时的局限性。它能够直接编写程序，解决记忆不足的问题，提升复杂任务的处理能力。RLM将大问题拆解为小问题，缓存中间结果，提高效率和稳定性。该技术在合同解析、发票处理和知识库检索等领域表现优异，标志着AI工程的重大变革。