利用注意力矩阵进行解释

该研究提出了一种新方法PAPA，通过常量替代输入相关的注意力矩阵。结果表明，预训练的Transformer模型在六个任务上表现良好，暗示注意力机制的重要性可能被高估，为简化注意力机制提供了新思路。