通过预条件器解决关注度核回归问题

本文研究了Transformer网络中的自注意力矩阵，重点分析了稀疏模式的逼近。通过固定自注意力参数，采用不同的输入即可逼近各种稀疏矩阵，并提出了一种基于随机映射技术的构造性证明和算法。在保持矩阵元素比率不变的精度下，仅需要$log L$（L为序列长度）的$d$即可逼近任何稀疏矩阵。