一个关于训练于符号多步推理任务的 Transformer 的机制分析
内容提要
该文综述多项研究，探讨Transformer在符号推理与泛化上的能力。实验显示，扰动会严重降低性能，F1可低于17%，表明推理多依赖表层模式而非深层数学理解。研究还分析嵌入与自注意力编码语义结构、逻辑推理的系统泛化，并提出改进方法以减少数据需求。
延伸解读
扰动实验揭示表层模式依赖
文章提到，在符号代数任务中，对输入进行扰动会严重降低Transformer的性能，F1分数可低于17%。这表明模型的推理主要依赖于表层模式，而非对数学运算的深层理解。这一发现提醒我们，在评估模型推理能力时，需要关注其是否真正掌握了符号规则，而非仅仅记住了表面关联。
嵌入与自注意力编码语义结构
研究显示，Transformer的嵌入层和自注意力层能够编码语义结构，具体表现为同主题单词之间的嵌入内积和自注意力相对较高。这意味着模型在内部表示中捕捉到了词汇之间的语义关系，这种机制有助于解释模型在某些任务上的泛化能力，但也可能受限于训练数据中的表面共现模式。
泛化能力与数据需求
文章指出，Transformer在回归任务中具有泛化性，但需要大量训练数据；而在具有符号标签的下一个令牌预测任务中，随着嵌入维度的增加，模型反而无法泛化，呈现出“反比例尺律”。通过微妙的修改（如每个头部添加两个可训练参数），可以减少所需的数据量。这提示我们，模型架构的调整可能对数据效率和泛化至关重要。
多步推理的机械化探测
通过机械化探测器从注意力模式中恢复推理树，研究发现GPT-2和LLaMA在多数示例中确实经历了多步推理过程，而非单纯抄袭记忆的答案。这一方法为理解语言模型是否进行真正的推理提供了新视角，但也表明推理能力可能因任务和模型而异，需要进一步研究其核心策略。
Q&A
Transformer在符号多步推理任务中，扰动对性能的影响有多大？
扰动会严重影响性能，F1分数可降至低于17%，表明推理主要依赖表层模式而非深层数学理解。
Transformer的嵌入层和自注意力层如何编码语义结构？
嵌入层和自注意力层通过同主题单词之间较高的嵌入内积和自注意力来编码语义结构。
Transformer在符号标签的下一个令牌预测任务中，嵌入维度增加会导致什么现象？
会出现“反比例尺律”：随着嵌入维度的增加，Transformer无法泛化。
语言模型在多步推理任务中是通过记忆还是真正进行多步推理？
机械化探测器能从注意力模式中恢复推理树，表明在许多情况下语言模型确实经历了多步推理过程。
Transformer在逻辑推理任务中的系统泛化能力如何？
在逆向推理证明方面表现更优，且未经过证明生成训练的模型更适合处理长证明问题。
有哪些方法可以减少Transformer在符号推理任务中所需的数据量？
通过在每个注意力头添加两个可训练参数来修改Transformer，可以减少所需的数据量。
