DeepSeek与阿里通义推出Engram/N-Gram记忆模块，为Transformer增加“记忆硬盘”，将固定知识查找从计算中分离，提升推理效率。实验显示性能提升，但社区测试发现其擅长短语补全而非事实回忆，且DeepSeek V4未采用Engram。该技术尚处探索阶段，可能改变AI竞赛格局。

FlexiSLM是首个支持动态帧率的语音大模型，可在4-12.5Hz间运行，无需重训。它根据信息密度动态分配语音Token，输入输出端均支持可控帧率。在7B规模上超越Qwen2.5-Omni等基线，输出降至6.25Hz时推理时间近半，性能仅微降。目标帧率控制误差小于0.1Hz，并开源了最大语音问答数据集。

谷歌正研发代号“Frozen v2”的定制芯片，将Gemini模型架构部分硬编码于硅片，同时保留权重可更新，以提升推理效率。目标每瓦特令牌数提升6至10倍，缓解算力压力并降低成本。此举反映AI推理正从通用GPU转向模型专用硬件，类似比特币挖矿的ASIC演进，但保留灵活性以适配模型迭代。

上海人工智能实验室发布了基于新架构的Intern-S2-Preview-397B大模型，旨在解决科学智能领域的知识与推理分离问题。该模型通过Memory Decoder和Mobius架构实现专业知识的动态更新与推理效率提升，显著提高了生命科学和材料科学等领域的科研效率和准确性。

百度推出的Unlimited OCR模型在长文档处理上刷新了SOTA，采用参考滑动窗口注意力机制，模拟人类阅读方式，解决了传统OCR的显存膨胀问题。该模型在OmniDocBench上表现优异，推理效率提升35%，并计划扩展到语音识别和机器翻译等任务。

香港科技大学（广州）团队提出的DVD模型通过一次前向传播实现视频深度估计，提升了推理效率，解决了几何幻觉问题。该模型在多个基准测试中表现优异，仅需36.7万帧训练数据，显著降低了成本，为视频三维感知提供了新技术路线。

今日，MiniMax M3正式上线，京东云JoyBuilder平台已接入该模型，提升推理效率。MiniMax M3支持1M超长上下文和多模态输入能力。京东云提供高性能推理服务，帮助企业快速应用大模型，提升运维效率，未来将深化合作，构建开放的AI生态。

卡内基梅隆大学与商汤实验室提出的SR^2AM模型通过三个独立系统优化智能体决策过程，显著提高推理效率。SR^2AM-30B在数学和科学任务中表现优异，Token消耗减少66.7%-95.3%。该模型结合模拟推理与自我调节，成功解决推理深度与效率的平衡问题，展现出更深层次的思考能力。

本文探讨了通过动态调度和不规则批处理提高大语言模型（LLM）推理效率的方法。动态调度允许在每个解码步骤后立即接收新请求，避免了静态批处理中短请求等待长请求的问题，从而减少GPU资源浪费。不规则批处理通过合并多个提示，减少填充令牌的浪费，进一步提升推理速度。最终，连续批处理显著提高了LLM的推理效率。

智能体 AI 正在从语言中心化系统转变为具备自主推理与协作能力的智能体。伊利诺伊大学的研究团队提出 Eywa 框架，结合语言模型与领域专用基础模型，提升科学研究中的推理效率。EywaAgent 在多个科学领域的任务中表现优异，效用提升约 7%，Token 消耗减少 30%。此外，EywaBench 评测框架也被提出，以评估多模态科学推理能力，推动 AI 在科学领域的应用。

自适应并行推理（APR）是一种新兴的推理模型，能够动态决定何时并行化和分解任务。与传统顺序推理相比，APR通过并行处理多个线程，提高了推理效率，降低了延迟。研究表明，APR在复杂任务中表现出更高的准确性和更低的计算成本，但仍需解决训练稳定性和硬件适应性等问题。

Anthropic 的估值已超过 1 万亿美元，OpenAI 面临压力。GPT-5.5 发布，提升了推理效率，能够更好地处理复杂任务，表现优于前代。评测显示其在多个领域取得显著进步，OpenAI 计划将其打造成“AI 超级应用”，整合多种功能以提升工作效率。

Meta推出KernelEvolve，一个自主系统，优化AI基础设施，显著提升广告模型的推理和训练效率。该系统通过自动生成和优化硬件特定的内核，解决了性能瓶颈，能在数小时内完成原本需数周的内核优化工作，推理吞吐量提升超过60%。

Redis在2026年被评为Fast Company最具创新的公司之一。通过与LMCache的优化，Redis提升了大规模语言模型的缓存性能，KV缓存读取速度达到9-10 GB/s，显著提高了推理效率，帮助加速推理过程并降低成本。

阶跃星辰的Step 3.5-Flash在推理效率上表现优异，推理速度达到350tokens/秒，标志着其从算法产品向可定制智能底座的转型。公司采取基础设施化路线，涉足AI服务、终端设备和底层芯片，吸引资本市场关注，估值接近100亿美元。