本文探讨Transformer注意力机制的计算复杂度问题，指出标准注意力在长上下文下时间和空间开销呈平方增长。文章概述了高效注意力、FlashAttention和线性注意力等优化方案，其中线性注意力通过将Softmax替换为elu+1特征映射，将复杂度降至线性，并引入RNN式递归状态，为后续Kimi等长上下文模型奠定基础。

Transformer是过去十年最成功的深度学习架构，但其核心限制在于标准attention的O(n²)计算复杂度已被证明是理论下界，无法通过工程优化突破。此外，KV Cache线性增长、自回归串行性、长上下文不等于长期记忆、位置外推失效及数据供给上限等问题，共同构成架构瓶颈。新架构需在质量、成本、稳定性、生态四条战线同时超越Transformer，才能实现替代。

本文探讨视觉Transformer（ViT）的核心设计：将图像切分为patch作为token，并分析其代价。关键点包括：patch大小与分辨率决定序列长度，影响注意力机制的二次方计算成本；CNN的归纳偏置在小数据上更优，而ViT需大数据；DeiT通过数据增强和蒸馏提升训练效率；Swin通过窗口注意力降低复杂度。文章还讨论了位置编码失效、层级结构及未来高分辨率挑战。

本文探讨了自注意力机制的核心概念及其与传统模型的比较。自注意力允许序列内的每个token相互沟通，解决了RNN的长依赖问题。由于自注意力对位置无知，需通过位置编码注入位置信息。多头注意力使不同头学习不同关系。尽管自注意力在长序列处理上表现优异，但其计算复杂度为O(N²)，引发了对优化的研究。

多头注意力机制的核心在于独立计算不同的注意力分布，而非简单平均。理解位置限制和计算复杂度是后续研究的重点。

浙江大学的InftyThink通过将长推理拆分为短片段并引入总结，实现了无限深度推理，降低了计算复杂度，提升了模型性能，适用于多种模型，前景广阔。

本研究提出了一种新的八次对称ViT架构，有效提升了计算机视觉模型的性能与效率。实验结果显示，该方法在分类和分割任务中显著提高了性能，同时将ViT-H的计算复杂度降低约40%。

本研究提出了一种名为稀疏注意力混合（MoSA）的方法，旨在降低大型语言模型自注意力计算的复杂度。MoSA通过动态选择注意力头的标记，显著提高模型性能，在相同计算预算下，困惑度比稠密基线高出27%。

自动微分在深度学习中利用链式法则计算梯度，涉及雅可比矩阵和向量-雅可比积。正向模式和反向模式分别从前向和后向计算雅可比矩阵乘积，以优化存储和计算复杂度。

本研究提出了一种资源高效的波束预测方法，解决了传统方法在快速变化通信环境中的适应性不足。通过知识蒸馏将多模态网络知识转移至单模态网络，并结合自动驾驶模拟器生成的数据，显著降低计算复杂度，同时保持预测准确性。模拟结果显示，在使用教师网络10%参数的情况下，单模态模型性能达到94.62%。

本文提出了一种新方法，通过优化图像嵌入，改善基础医学分割模型在特定病变上的表现。实验结果显示，该方法在三个数据集上提升了约3%的Dice得分，同时计算复杂度减少了7倍，具有重要的应用潜力。

该研究提出了一种在资源受限的边缘设备上实现超分辨率图像处理的方法，开发了8K@30FPS加速器，显著降低了计算复杂度和内存需求，同时保持了图像质量。