本文综述Transformer可解释性研究，涵盖基于Deep Taylor分解的相关性传播方法、自我注意力归因（识别重要注意力头、构建注意力树及对抗攻击）、经注意力头与LayerNorm稳定传播的改进梯度法、语言生成模型分析与机器翻译对齐、融入外部知识的注意力提升NLI稳健性，以及注意力与特征归因相关性低、注意力权重与梯度重要性不相关等发现，并分析大模型对上下文外词的表征与鲁棒性。