本研究针对传统softmax注意力机制在处理长序列时的平方内存复杂性问题，提出了Cottention这一新颖注意力机制。通过用余弦相似度替代softmax操作，Cottention实现了相对于序列长度的线性内存复杂性，显著降低了内存需求，同时保持了与softmax注意力相当的性能，有望在处理长序列时带来更高的效率。

本文介绍了新颖的RIS架构ReMamber及其在图像融合中的应用，结合Mamba块和多模态特征，提升了图像重建和目标检测性能。提出的FusionMamba和MambaDFuse模型在多模态图像融合任务中表现优异，展现了Mamba在跨模态融合中的潜力。此外，研究探讨了Mamba与Transformer的结合，提出MambaVision模型，在多个数据集上取得了最先进的性能。

本文介绍了一种名为FLASH的改良Transformers模型，采用门控注意力单元和线性近似方法，显著提升了语言建模的训练速度，改善了短序列和长序列的分词效果。在Wiki-40B和PG-19数据集上，训练速度提升可达4.9倍，同时推理过程中的计算复杂度降低，表现出更高的效率和准确率。

为了进一步推动语言模型的次二次架构，我们提出了一种简单而优雅的变化，增强了其上下文学习能力，并通过多查询联想回忆任务和整体语言建模过程在 Pile 数据集上进行了评估。

Spikformer是一种结合了自注意力和脉冲神经网络的SNN设计架构，使用脉冲自注意力模块混合稀疏视觉特征，并通过线性变换加速。实验结果显示，具有线性变换的Spikformer在图像分类方面具有更高的准确率和更快的速度。

Spikformer是一种将Transformer架构应用于脉冲神经网络（SNNs）设计的方法，通过使用脉冲自注意力（SSA）模块来混合稀疏视觉特征，并通过将SSA替换为非参数化的线性变换（LT）来加速。实验结果表明，具有LT的Spikformer在神经形态学数据集上具有更高的准确率，并且训练和推断速度更快，内存使用量更少。

该研究使用Transformer模型架构，将自我关注机制应用于图像生成序列建模问题，通过限制自我关注机制只关注局部邻域，提高了模型处理大图像的能力。在图像生成和超分辨率方面，该模型优于当前最优模型，提高了ImageNet上最佳公布的负对数似然。人类评估表明，该超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

本文提出了一种名为CLBT的跨语言表征学习方法，通过线性变换将不同语言的上下文化嵌入与上下文词对齐，证明该方法在跨语言解析领域中具有优势，效果明显优于之前的技术，并与交叉语言模型XLM竞争。

本文提出了一种使用基于随机采样和噪音添加的样式增强算法，以改善一般线性变换的样式转移中的随机性。通过增强策略，模型在图像风格化方面表现出极高的鲁棒性，并在STL-10数据集上超越了先前方法和最先进的性能。同时，对模型在不同样式变化下的解释进行了分析，并进行了全面实验比较了在训练设置中应用于深度神经架构时的性能。

本文主要讲解灰度线性变换。

今天看了一本叫做 数学女孩 的书。其实里面是关于一些数学科普的内容，翻到其中一页，写到：

今天阅读了《数学女孩》，了解到角的旋转可以用矩阵表示，通过代数和几何的解释，理解了矩阵与角度变换的关系，并推荐了bilibili上的“线性代数的本质”课程。