具有线性复杂度的交互式多头自注意力
原文中文，约200字，阅读约需1分钟。发表于：。我们通过分解提出了一种高效的多头自注意力交互方法，该方法通过建立注意力矩阵中的跨头交互来增强信息流动，并将注意力操作分解成查询和无键组件，以降低注意力矩阵的维度，从而实现更高效的注意力操作。实验结果表明，所提出的跨头交互方法在效率和性能上优于现有的方法和最先进的骨干模型。
我们提出了一种高效的多头自注意力交互方法，通过跨头交互增强信息流动，降低注意力矩阵维度，实现更高效的注意力操作。实验证明该方法优于现有方法和骨干模型。
