本研究针对传统softmax注意力机制在处理长序列时的平方内存复杂性问题，提出了Cottention这一新颖注意力机制。通过用余弦相似度替代softmax操作，Cottention实现了相对于序列长度的线性内存复杂性，显著降低了内存需求，同时保持了与softmax注意力相当的性能，有望在处理长序列时带来更高的效率。

本文介绍了一种名为MambaVision的新型混合型Mamba-Transformer骨干网络，专为视觉应用而设计。通过重新设计Mamba的表达方式，增强了其对视觉特征的建模能力。研究结果表明，在最后几层为Mamba架构添加多个自注意力块可以明显提高其对长程空间依赖的建模能力。MambaVision模型在图像分类和下游任务中取得了新的最先进性能。

本文提出了一个基于零样本图像净化的后门防御框架，无需被攻击模型的内部信息或清洁/污染样本的先验知识。通过线性变换和预训练扩散模型恢复缺失语义信息，得到高保真净化图像。实验结果显示，该框架优于现有后门防御基线。

Spikformer结合自注意力机制和脉冲神经网络（SNNs），将Transformer架构应用于SNN设计。它引入了Spike自注意力（SSA）模块，在许多数据集上实现了最先进的性能。通过用非参数线性变换替换SSA，Spikformer可以加速，降低时间复杂度。大量实验表明，与SSA相比，线性变换具有更高的准确性和更快的速度。

本研究提出了一种基于潜在向量定义注意力的方法，将传统transformer模型的时间复杂度降低为随序列长度线性增长。该模型适用于双向和单向任务，并且在推理过程中能够高效地进行语言生成任务的记忆和时间循环实现。与标准transformer相比，该方法只需常数时间计算下一个记号，实证表现相当，且允许在标准attention不可行的背景窗口范围内进行扩展。

该研究提出了一种方法，可以发现置换群 S_n 的隐藏子群 H。通过学习 S_n 不变函数和线性变换，可以发现任何类型为 S_k (k ≤ n) 的子群，包括循环子群和二面体子群。文章还提供了一个通用定理，可以扩展到发现 S_n 的其他子群。数值实验验证了结果的适用性。

Spikformer结合了自注意力机制和脉冲神经网络（SNNs），将Transformer架构应用于SNN设计。它引入了脉冲自注意力（SSA）模块，在各种数据集上实现了最先进的性能。通过使用非参数线性变换，Spikformer可以加速，降低时间复杂度。大量实验表明，与SSA相比，线性变换具有更高的准确性和更快的训练/推理速度。

Spikformer结合了自注意力机制和脉冲神经网络（SNNs），将Transformer架构应用于SNN设计。它引入了脉冲自注意力（SSA）模块，在许多数据集上实现了最先进的性能。通过用非参数线性变换替换SSA，Spikformer可以加速，降低时间复杂度。大量实验表明，与SSA相比，线性变换具有更高的准确性和更快的训练/推理速度。

为了进一步推动语言模型的次二次架构，我们提出了一种简单而优雅的变化，增强了其上下文学习能力，并通过多查询联想回忆任务和整体语言建模过程在 Pile 数据集上进行了评估。

Spikformer是一种结合了自注意力和脉冲神经网络的SNN设计架构，使用脉冲自注意力模块混合稀疏视觉特征，并通过线性变换加速。实验结果显示，具有线性变换的Spikformer在图像分类方面具有更高的准确率和更快的速度。

Spikformer是一种将Transformer架构应用于脉冲神经网络（SNNs）设计的方法，通过使用脉冲自注意力（SSA）模块来混合稀疏视觉特征，并通过将SSA替换为非参数化的线性变换（LT）来加速。实验结果表明，具有LT的Spikformer在神经形态学数据集上具有更高的准确率，并且训练和推断速度更快，内存使用量更少。

该研究使用Transformer模型架构，将自我关注机制应用于图像生成序列建模问题，通过限制自我关注机制只关注局部邻域，提高了模型处理大图像的能力。在图像生成和超分辨率方面，该模型优于当前最优模型，提高了ImageNet上最佳公布的负对数似然。人类评估表明，该超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

本文提出了一种名为CLBT的跨语言表征学习方法，通过线性变换将不同语言的上下文化嵌入与上下文词对齐，证明该方法在跨语言解析领域中具有优势，效果明显优于之前的技术，并与交叉语言模型XLM竞争。

本文提出了一种使用基于随机采样和噪音添加的样式增强算法，以改善一般线性变换的样式转移中的随机性。通过增强策略，模型在图像风格化方面表现出极高的鲁棒性，并在STL-10数据集上超越了先前方法和最先进的性能。同时，对模型在不同样式变化下的解释进行了分析，并进行了全面实验比较了在训练设置中应用于深度神经架构时的性能。

本文主要讲解灰度线性变换。

今天看了一本叫做 数学女孩 的书。其实里面是关于一些数学科普的内容，翻到其中一页，写到：

今天阅读了《数学女孩》，了解到角的旋转可以用矩阵表示，通过代数和几何的解释，理解了矩阵与角度变换的关系，并推荐了bilibili上的“线性代数的本质”课程。