TypeSafe AI 在 AI Gateway 发布 Jev 1.14 决策模型，接收状态和问题后返回带概率的类型化 Choice、Score 和 Boolean 答案，而非自由文本，可并行完成分类、路由、评分和自动验证。新版本支持图像输入，并提供实验性长上下文模式处理超长文档、日志或对话。模型名为 typesafe-ai/jev-1.14.0，支持零数据保留和不训练。

Subquadratic发布决策模型SubQ Snap，支持38.4万token上下文，约为Jev的12倍，可一次性处理大型代码库和文档。该模型采用稀疏注意力架构，降低长输入计算成本，在多项基准测试中优于Jev，定价为每百万输入token 0.05美元。公司称更大上下文可简化AI代理开发，但结果均为内部测试，尚待独立验证。

英伟达Nemotron 3.5 Lightning已在AI Gateway免费提供，模型名为nvidia/nemotron-3.5-lightning-free。该开放权重推理与聊天模型面向长时智能体、子智能体、聊天机器人和RAG系统，采用30B参数混合专家架构，每token激活3B，交错Mamba-2与MoE层，支持100万token上下文、工具调用和结构化输出。可通过AI SDK及多种API调用，AI Gateway无加价、不收平台费。

Anthropic的Claude Opus 5.5已上线AI Gateway，在智能体编程、长时任务和知识工作上大幅提升，性能媲美Fable 5.1，但比Opus 5快约30%、便宜约40%。它更擅长长程协作，能用通俗语言汇报进展。API有两处变更：思考始终自适应，禁用或固定思考预算的请求会被拒；强制工具调用已取消，改用结构化输出。模型支持100万token上下文，输出上限128K，知识截止2026年6月。

文章澄清上下文窗口与KV Cache的区别：前者是单次请求的容量上限，后者是自回归解码中缓存历史Key/Value、以空间换时间的计算账本。DeepSeek V4.1 Flash将全局KV Cache降至每Token约890字节，但整机显存还需计入权重、并发等。长上下文不等于召回准，也不等于长期记忆，部署需实测峰值显存与延迟。

RAG仍然存在，但传统的“切片—向量化—Top-K”流水线不应再作为默认方案。Claude Code等转向Agentic Search，通过目录和grep按需查找，效果更佳。在长上下文时代，小知识库可直接放入上下文；向量检索应回归普通工具定位，与全文检索、元数据和权限控制配合使用。PostgreSQL可统一存储与检索，避免跨系统一致性问题。核心是根据语料、成本和延迟进行选型，而非盲目依赖向量检索。

推理软件栈的微小差异（如注意力后端、KV缓存量化、权重量化、张量并行度）会导致本地部署的大模型在长上下文中输出不同token，甚至工具调用失败。实验显示，INT4 KV缓存和NVFP4量化翻转率最高，而BF16和特定INT8方案更稳定。这些数值漂移累积后，模型可能做出致命错误决策，且难以排查。

阿里巴巴发布Qwen3.8-Flash，一款1250亿参数的开源多模态MoE模型，作为Qwen4的架构预览。该模型在编码和办公任务上性能优越，训练资源仅需同类模型的九分之一，成本更低。它支持26万token上下文，可扩展至百万，并已在Hugging Face和ModelScope开放。开发者反应不一，有人称赞其能在消费级硬件运行，也有人认为本地模型尚不足以替代远程服务。

Thinking Machines发布开源模型Inkling，采用混合专家架构，总参数9750亿，但每次推理仅激活约410亿参数。该模型结合滑动窗口与全局注意力层，支持百万级token上下文，并使用相对位置编码以避免外推问题。Inkling支持图像和音频输入，并引入可调推理努力参数，旨在便于用户定制和微调。

LLM长上下文推理成本高，主因是KV缓存随token数线性增长，解码时需逐token读取全部缓存，受内存带宽限制。优化方法包括：分组查询注意力、潜在注意力减少每token存储；量化降低存储精度；驱逐机制减少token数；分页注意力和前缀缓存提升内存管理效率。各方法在质量、工程复杂度间权衡，适合长上下文和高并发场景。

Kimi K3采用KDA与MLA混合注意力架构，引入循环状态缓存，改变传统KV缓存语义。Mooncake与SGLang、vLLM、TokenSpeed合作，实现KDA感知的检查点管理、跨实例缓存复用及统一数据传输平面，支持百万级长上下文推理，降低冗余计算，提升多轮对话和智能体任务效率。

该文介绍新基准测试Handbook.md，评估AI在长上下文中遵循规则的能力。测试显示，最强模型通过率仅36.2%，因长上下文导致注意力偏向近期信息，忽略手册规则，甚至编造合规报告。增加推理成本效果有限，严格评分暴露AI“说一套做一套”的问题，凸显长上下文与权威遵循间的矛盾。

本文探讨了长上下文处理的挑战，提出了自反程序搜索框架（SRLM），通过不确定性自反增强编程交互。SRLM利用自一致性、推理轨迹长度和语言信心等信号评估上下文交互程序，实验表明SRLM在多种基准数据集上表现优于现有模型，提升达22%。研究发现，递归并非RLM性能的主要驱动因素，自反程序搜索在短长上下文中均表现出一致的优势。

文章讨论了本地AI模型与云端服务的对比，指出24GB内存的局限性，难以支持复杂任务。作者经历了从OpenClaw到Hermes框架的转变，发现本地模型在处理长上下文时常出现错误，且量化版本的质量差异显著。尽管本地模型有优势，但最终仍需依赖云端服务以提高效率，反映出效率与数据控制之间的矛盾。

Subquadratic推出了小型模型SubQ 1.1，采用稀疏注意机制，能够处理长达1200万标记的上下文，显著提高计算效率。该模型在长上下文检索方面表现优异，适合企业数据处理需求。公司计划逐步向公众开放模型，并探索更高效的架构。

美团发布的LongCat-2.0模型具有“万亿参数”和长上下文能力，旨在提升代码理解与生成效率。该模型通过国产算力集群实现全流程训练，标志着大模型工程化的新阶段，未来需关注其在真实软件工程中的应用效果。

Qwythos-9B-Claude-Mythos-5-1M模型发布，具备1M上下文，推理能力引发热议。尽管在医学诊断上表现优异，但也出现错误。模型偏保守，需调整采样参数以优化性能。团队计划进一步改进，未来将实现自适应思考。整体来看，模型在长上下文处理上有潜力，但实际应用仍需克服硬件和参数设置的挑战。

中国科学技术大学、浙江大学与腾讯合作提出了MMPO算法，解决长上下文记忆中的信息衰减问题。该算法通过监控信念熵，动态调整信息检索策略，在175万token的上下文中保持97.1%的性能，显著优于传统递归总结方法，实现了计算成本与记忆精度之间的自适应平衡。