Anthropic 的估值已超过 1 万亿美元，OpenAI 面临压力。GPT-5.5 发布，提升了推理效率，能够更好地处理复杂任务，表现优于前代。评测显示其在多个领域取得显著进步，OpenAI 计划将其打造成“AI 超级应用”，整合多种功能以提升工作效率。

Meta推出KernelEvolve，一个自主系统，优化AI基础设施，显著提升广告模型的推理和训练效率。该系统通过自动生成和优化硬件特定的内核，解决了性能瓶颈，能在数小时内完成原本需数周的内核优化工作，推理吞吐量提升超过60%。

Redis在2026年被评为Fast Company最具创新的公司之一。通过与LMCache的优化，Redis提升了大规模语言模型的缓存性能，KV缓存读取速度达到9-10 GB/s，显著提高了推理效率，帮助加速推理过程并降低成本。

阶跃星辰的Step 3.5-Flash在推理效率上表现优异，推理速度达到350tokens/秒，标志着其从算法产品向可定制智能底座的转型。公司采取基础设施化路线，涉足AI服务、终端设备和底层芯片，吸引资本市场关注，估值接近100亿美元。

OpenBMB推出的MiniCPM-o-4.5模型仅用9B参数实现全模态能力，强调跨模态对齐与推理效率，适合主流GPU部署，具备高性能与轻量化优势。

本文介绍了一种名为Krites的异步语义缓存策略，旨在提高大语言模型（LLM）的推理效率。Krites通过验证静态缓存的响应，扩大了静态覆盖范围，允许未来的请求重用经过验证的答案。实验表明，Krites在对话和搜索任务中，使用经过验证的静态答案的请求比例提高了最多3.9倍，同时保持了延迟不变。

微软与NVIDIA推出Dynamo第二部分，旨在提升Azure Kubernetes Service上大语言模型的推理效率。新功能包括自动资源规划和动态扩展，帮助开发者快速配置GPU资源。Dynamo Planner Profiler与基于SLO的Dynamo Planner协同优化GPU分配，以满足流量变化下的服务水平目标。

百度文心大模型5.0正式上线，参数达到2.4万亿，具备全模态理解与生成能力，支持文本、图像、音频和视频等多种信息。该技术采用统一自回归架构，提升推理效率，显著增强多模理解、代码生成和创意写作能力。百度千帆平台已支持企业用户便捷调用文心5.0，助力各行业应用。

本文分析了KV缓存优化，探讨了DeepSeek的MLA架构如何演变为vLLM和SGLang，强调推理效率在生成AI商业化中的重要性。KV缓存管理成为主要瓶颈，文章还讨论了不同注意力机制对内存带宽的影响，以及低秩压缩和系统软件管理的重要性。

DeepSeek-V3.2引入了稀疏注意力机制（DSA），优化了长文本处理的效率。通过闪电索引器和细粒度选择机制，DSA减少了计算量并提升了模型性能。该版本在持续预训练和后训练中结合专家蒸馏和强化学习，显著提高了推理效率和稳定性。

麻省理工学院研究人员开发了一种动态调整计算预算的方法，使大型语言模型在解决复杂问题时更高效。该方法根据问题难度和解决方案成功概率灵活分配计算资源，降低能耗并提高准确性。研究表明，小型语言模型在复杂问题上的表现优于大型模型，提升了推理的可靠性和效率。

OpenAI发布了gpt-oss-120b和gpt-oss-20b两款开放权重AI推理模型，旨在推动各行业的AI应用。与NVIDIA的合作使这些模型全球可用，提升了推理效率，支持大规模AI模型的实时部署，促进AI技术的开放发展。

MoMoE（内存优化的专家混合模型）通过结合Triton内核和优化内存布局，显著提高了混合专家模型的训练和推理速度及内存效率。与现有开源实现相比，MoMoE在前向和反向传递中具有更高的吞吐量和更低的内存消耗，适合大规模训练和推理。该实现允许用户灵活选择内存与计算的权衡，推动了专家混合模型的高效应用。