DeepSeek-V3.2-Exp模型已在华为云上线，采用稀疏Attention架构，提升推理效率，降低资源消耗，支持160K长序列，适合企业和开发者使用。

Mamba探讨了状态空间模型（SSMs）与Transformer的优劣，指出Attention并非万能，SSMs在处理长序列信息时更具优势。Mamba在同规模下超越Transformer，强调混合模型的潜力，未来可能结合两者优势开发新架构。

本研究提出了ATTENTION2D方法，旨在解决传统自注意力机制在处理长序列时的计算和内存成本问题。该方法通过查询与键/值维度的并行性，实现了高效的分布与并行化，实验结果显示训练和推理速度提升了5至9.4倍。

本研究提出LServe系统，旨在解决长序列大型语言模型在预填充和解码阶段的计算复杂度和内存占用问题。通过混合稀疏注意力，该系统使预填充速度提升近2.9倍，解码速度提升1.3-2.1倍，同时保持长序列的精度。

本研究提出LASP-2序列并行方法，优化线性注意力的右乘特性，显著提升长序列训练的通信和计算并行性，训练速度比LASP快15.2%，比环形注意力快36.6%。

本文探讨了传统Softmax注意力在推理令牌长度增加时的数值不稳定和性能下降问题。提出了一种新颖的Softplus注意力机制，结合动态长度尺度因子和重新加权，显著提升了大型语言模型在处理长序列时的稳定性和性能。

本研究提出了TreeKV，一种直观且无需训练的键值缓存压缩方法，旨在解决长序列和资源有限环境中的信息保留问题。TreeKV通过树结构实现平滑缓存压缩，在语言建模任务中表现优异，相比基线模型在长上下文中显著提升性能，最佳效率仅需6%的预算。

本研究首次全面评估RWKV模型，填补了系统性综述的空白。RWKV通过独特的递归框架有效处理长序列，降低计算成本，展现出优越性能，并指出未来研究方向。

本研究提出了一种高效的Perceiver基架构（Long LoRA Perceiver - LLP），旨在解决Transformer在长序列处理中的复杂度问题。通过引入三种结构增强，该架构在自回归建模中实现了高性能与计算效率的平衡，实验结果表明其在多个基准测试中超越了最新的Transformer模型。

InfiniDreamer是一个新框架，解决了现有运动生成方法只能生成短序列的问题。它通过生成与文本描述对应的子运动，并利用片段评分蒸馏（SSD）优化长序列，从而能够生成一致且具上下文意识的任意长度运动序列。实验结果表明，该方法优于现有技术。

本研究提出了一种新方法，通过张量化长输入序列，解决了长序列建模中注意力模型的依赖性和效率问题，显著提升了推断速度和扩展能力。

本研究使用InAttention替代自注意力机制，解决了变压器模型在上下文长度增加时VRAM需求增加的问题。该方法使VRAM使用量与上下文长度线性增长，降低资源需求，支持在消费级GPU上处理长序列。研究表明，微调可以在不增加训练成本的情况下扩展上下文长度，提升长序列性能。