余弦注意力的线性变换器：Cottention

本研究针对传统softmax注意力机制在处理长序列时的平方内存复杂性问题，提出了Cottention这一新颖注意力机制。通过用余弦相似度替代softmax操作，Cottention实现了相对于序列长度的线性内存复杂性，显著降低了内存需求，同时保持了与softmax注意力相当的性能，有望在处理长序列时带来更高的效率。