DeepSeek 开源高性能 TopK 算子库 DeepSelect，针对稀疏注意力中的闪电索引器和采样器两个场景优化，速度可达 torch.topk 的 2 至 20 倍。该库不绑定推理框架，可通过 pip 直接替换，结果稳定，并支持关闭排序和返回值以进一步提速，助力 V4.1 Flash 推理大幅加速。

大模型推理中的路由问题促使稀疏注意力机制的出现。路由的挑战在于平衡负载均衡与缓存感知，避免资源浪费。稀疏注意力通过减少KV块数量来缓解这一问题，但仍面临决策困难。Goodfire的研究提出了通过“知识指针”解决路由问题的新思路。总体而言，路由问题是分布式系统中的长期挑战。

美团LongCat-2.0正式开源，参数达到1.6T，采用动态激活和稀疏注意力技术，提升长上下文处理效率。开源的国产卡推理代码具有工程价值，解决了部署链路问题。建议团队在低风险环境中测试，以确保模型的稳定性和可控性，避免潜在风险。

北京大学团队提出的新稀疏注意力机制HISA，速度提升2-4倍，几乎不损失精度。该机制通过块级粗过滤和块内精挑字符，降低索引器成本，适应超长文本需求，工程友好性强。测试结果显示HISA在速度和精度上表现优异，未来可进一步优化块特征计算和训练方式。

DeepSeek发布了DeepSeek-V3.2开源AI模型，性能超过GPT-5，采用稀疏注意力机制和强化学习等新技术。尽管表现优异，但在知识广度和复杂任务解决上仍不及封闭模型，未来将致力于优化模型效率和知识积累。

DeepSeek V3.2 通过引入“系统 2”推理机制，重构了大型语言模型的解码策略，强调实时计算和思维链生成。其核心技术包括稀疏注意力机制和强化学习，提升了模型在复杂任务中的表现，标志着人工智能向理性智能体的演进。

DeepSeek-V3.2-Exp模型现已支持，采用稀疏注意力机制，适用于长文本任务。vLLM集成了新的CUDA内核，优化了性能，用户可通过特定指令进行部署和测试，未来将扩展对更多硬件的支持。

本文介绍了一种新型极简激活超级大脑模型，参数总数为142B，动态激活为14B，训练成本仅为Qwen2.5-72B的1/4。该模型在中文理解、数学推理和代码生成等任务中表现优异，并开源了训练过程，强调数据质量和系统创新的重要性。未来将探索稀疏注意力和模拟人类学习效率。

清华大学陈键飞团队提出的稀疏注意力机制SpargeAttn，无需训练即可加速多种模型，推理速度提升4-7倍，同时保持端到端精度，有效解决长序列任务的计算瓶颈。

清华大学等机构提出APB框架，利用稀疏注意力机制显著提升长文本推理效率，速度比传统方法快10倍，有效解决长距离语义依赖问题，适用于大模型服务。

华为诺亚方舟实验室发布的新ESA算法通过稀疏注意力设计，突破了大模型在长文本处理中的瓶颈，显著提升了计算效率和性能。ESA通过低维压缩和动态选择关键token，降低了计算复杂度，适用于长序列任务，实验结果显示其在多项基准测试中优于传统方法。

Qwen2.5-1M模型正式发布，支持1M上下文长度，包含两个新开源模型。推理框架速度提升3-7倍，长文本任务表现优于128K版本，短文本任务性能保持稳定。模型采用稀疏注意力和长度外推技术，优化推理效率，未来将继续提升性能和应用范围。