本文研究了语言模型计算的内部结构，发现了适应性计算形式和后期 MLP 层的反平衡功能。研究表明，即使在没有 dropout 的训练中，语言模型层相对较松散耦合，这些效应仍会发生。文章分析了这些效应对语言模型中的电路级归因的影响。