通过点亮重要信息更好地解释 Transformers
内容提要
本文综述Transformer可解释性研究，涵盖基于Deep Taylor分解的相关性传播方法、自我注意力归因（识别重要注意力头、构建注意力树及对抗攻击）、经注意力头与LayerNorm稳定传播的改进梯度法、语言生成模型分析与机器翻译对齐、融入外部知识的注意力提升NLI稳健性，以及注意力与特征归因相关性低、注意力权重与梯度重要性不相关等发现，并分析大模型对上下文外词的表征与鲁棒性。
延伸解读
注意力权重不等于解释
文章汇总的多项研究发现，标准注意力模块的权重与基于梯度的特征重要性测量之间往往不相关，注意力方法与其他特征归属方法的关联度也较低。因此，直接将注意力权重视为模型决策的解释并不可靠，文章甚至建议停止使用等级相关性作为注意力解释的评估指标。读者在解读Transformer可解释性结果时，应警惕仅凭注意力分布下结论。
梯度解释需稳定化处理
文章指出，直接使用梯度信息的Transformer解释方法效果不佳，识别输入特征对预测的贡献不可靠。为此，有研究提出通过Attention Heads和LayerNorm层进行更稳定传播的方法，可视为对Transformer的LRP方法的扩展，并在多种模型和数据集上取得先进解释性能。这说明梯度类解释在Transformer上需要针对结构做专门设计，而非简单套用。
外部知识可提升NLI稳健性
文章介绍了一种利用简单变换将外部知识纳入注意机制的方法，用于使NLI模型更加稳健，并应用于Transformer编码器和可分解模型。结果表明该方法能显著提高稳健性，与BERT预训练结合时在对抗SNLI数据集上达到人类水平性能。这提示在自然语言推理任务中，注意力机制与外部知识的结合是改善对抗鲁棒性的一条可行路径。
大模型对上下文外词的处理
文章分析了大语言模型如何表示上下文之外的单词，发现意外的令牌会导致模型在计算表示时减少对自身信息的关注，尤其在较高层次上更为明显。文本扰动实验还揭示了令牌似然性与注意力值之间的相关性。这些发现对评估大模型在真实场景中的鲁棒性具有重要影响，提醒读者关注模型在遇到异常输入时的表征变化。
Q&A
有哪些方法可以解释Transformer模型中的相关性传播？
基于Deep Taylor Decomposition原则的方法，通过注意力层和跳跃连接传播相关性，在图像和文本分类任务上优于现有方法。
自我注意力归因方法能用来做什么？
可用于识别重要的注意力头、构建注意力树、揭示Transformer内的分层交互，以及作为对抗模式实现非定向攻击。
为什么基于梯度的Transformer解释方法效果不佳？
因为识别输入特征对预测的贡献不可靠，但可以通过在Attention Heads和LayerNorm层进行更稳定的传播来改进，该方法在广泛模型和数据集上达到最先进性能。
如何利用外部知识提升NLI模型的稳健性？
通过简单变换将外部知识纳入注意机制，应用于Transformer编码器和可分解模型，显著提高稳健性，与BERT预训练结合后在对抗SNLI数据集上达到人类水平。
注意力权重能作为特征重要性的可靠解释吗？
不能，研究发现注意力权重与基于梯度的特征重要性测量之间不相关，标准的注意力模块不能提供有意义的解释，建议停止使用等级相关性作为评估指标。
大型语言模型如何处理上下文之外的单词？
模型依赖上下文捕捉语义，意外的令牌会导致模型减少对自身信息的关注来计算表示，尤其在较高层次，这对评估LLMs在真实场景的鲁棒性有重要影响。
