智谱GLM-5技术论文公开，展示其在长任务处理上的能力，支持多种国产芯片。通过引入稀疏注意力机制和异步强化学习，显著提升了效率。GLM-5在多项评测中表现优异，成为开源AI领域的重要模型，受到国际关注。

DeepSeek-V3.2系列模型发布，性能接近Gemini-3.0-Pro，适合日常问答和复杂任务。引入稀疏注意力机制DSA，显著降低计算复杂度。模型在Agent任务上表现优异，支持思考与工具调用。尽管存在知识广度和Token效率的局限，团队计划在未来版本中进行改进。

DeepSeek最新模型V3.2-Exp上线，采用新稀疏注意力机制DSA，提升长文本推理效率，并开源TileLang和CUDA算子，API价格降至五折，国庆礼包也令人惊喜。

本研究提出了一种名为SpargeAttn的稀疏注意力机制，旨在解决大模型推理中的时间复杂度问题。该方法通过在线过滤器快速预测注意力图，跳过部分计算，从而显著提高推理速度而不影响性能。

本文提出了一种新颖的稀疏注意力机制SVGA和混合CNN-GNN架构MobileViG，实验证明其在移动设备上的图像分类、物体检测和实例分割任务中优于现有模型。同时，研究探讨了图像表示为图结构的ViG架构，展示了在视觉任务中的优异性能。

本文研究了多头softmax注意力模型在多任务线性回归中的梯度流动动力学，发现梯度流的全局收敛性及“任务分配”现象。分析表明，梯度流经历热身、出现和收敛三个阶段，优化效果与最佳模型相当。此外，探讨了自注意力机制的隐式偏差及其在分类任务中的应用，提出了新的稀疏注意力机制，提升了模型的可解释性和性能。

该文提出了一种基于上下文感知 NMT 的层次化注意力机制，用于处理整个文档的翻译。该方法使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，并将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中。在英德数据集上的实验进一步验证了该方法的有效性。