探索 Transformer 的残差流

本研究通过研究Transformer模型的残差流，增强其可解释性。发现残差连接机制是在softmax之前的值上进行直接相加，使得具有更大softmax之前值的标记的概率增加。提出了一种分析前一层对上层影响的方法。实验结果和案例研究表明，该研究可以增强基于Transformer的模型的可解释性。