利用注意力矩阵进行解释
原文中文，约200字，阅读约需1分钟。发表于：。本文探讨了变换器模型中注意力权重与预测输出之间的解释性联系，针对以往研究的错误论点，提出有效注意力的概念。研究发现，合理的注意力矩阵在需要上下文信息的自然语言处理任务中对模型输出的预测具有因果作用，强调了其在解释基于注意力的模型行为中的重要性。
该研究提出了一种新方法PAPA，通过常量替代输入相关的注意力矩阵。结果表明，预训练的Transformer模型在六个任务上表现良好，暗示注意力机制的重要性可能被高估，为简化注意力机制提供了新思路。
