北京大学团队提出的新稀疏注意力机制HISA，速度提升2-4倍，几乎不损失精度。该机制通过块级粗过滤和块内精挑字符，降低索引器成本，适应超长文本需求，工程友好性强。测试结果显示HISA在速度和精度上表现优异，未来可进一步优化块特征计算和训练方式。

DeepSeek发布了DeepSeek-V3.2开源AI模型，性能超过GPT-5，采用稀疏注意力机制和强化学习等新技术。尽管表现优异，但在知识广度和复杂任务解决上仍不及封闭模型，未来将致力于优化模型效率和知识积累。

DeepSeek V3.2 通过引入“系统 2”推理机制，重构了大型语言模型的解码策略，强调实时计算和思维链生成。其核心技术包括稀疏注意力机制和强化学习，提升了模型在复杂任务中的表现，标志着人工智能向理性智能体的演进。

DeepSeek-V3.2-Exp模型现已支持，采用稀疏注意力机制，适用于长文本任务。vLLM集成了新的CUDA内核，优化了性能，用户可通过特定指令进行部署和测试，未来将扩展对更多硬件的支持。

本文介绍了一种新型极简激活超级大脑模型，参数总数为142B，动态激活为14B，训练成本仅为Qwen2.5-72B的1/4。该模型在中文理解、数学推理和代码生成等任务中表现优异，并开源了训练过程，强调数据质量和系统创新的重要性。未来将探索稀疏注意力和模拟人类学习效率。

清华大学陈键飞团队提出的稀疏注意力机制SpargeAttn，无需训练即可加速多种模型，推理速度提升4-7倍，同时保持端到端精度，有效解决长序列任务的计算瓶颈。

清华大学等机构提出APB框架，利用稀疏注意力机制显著提升长文本推理效率，速度比传统方法快10倍，有效解决长距离语义依赖问题，适用于大模型服务。

华为诺亚方舟实验室发布的新ESA算法通过稀疏注意力设计，突破了大模型在长文本处理中的瓶颈，显著提升了计算效率和性能。ESA通过低维压缩和动态选择关键token，降低了计算复杂度，适用于长序列任务，实验结果显示其在多项基准测试中优于传统方法。

Qwen2.5-1M模型正式发布，支持1M上下文长度，包含两个新开源模型。推理框架速度提升3-7倍，长文本任务表现优于128K版本，短文本任务性能保持稳定。模型采用稀疏注意力和长度外推技术，优化推理效率，未来将继续提升性能和应用范围。