本文介绍Transformer语言模型的可视化方法：先用梯度×输入计算输入词对生成词的显著性，并以GPT-2等模型示例展示；再分析前馈网络神经元激活，通过聚类和非负矩阵分解发现不同神经元组分别对应数字、逗号、标签等模式，揭示模型内部机制。