八问八答搞懂Transformer内部运作原理
内容提要
Sakana AI发表论文《Transformer Layers as Painters》，探究预训练transformer中的信息流，进行一系列实验。实验结果显示，中间层共享一个表征空间，但与外围层不同。删除一些中间层不会导致灾难性故障。层的顺序对模型有一定重要性，但改变顺序仍能发挥作用。层可以并行运行，但对于需要顺序逻辑理解的数学问题不适用。数学和推理任务对层的顺序依赖性更高。循环并行层能提高模型性能。重复单一层影响最严重，随机化层顺序和循环并行影响最小。
延伸解读
中间层共享表征空间，但功能各异
实验表明，Transformer的中间层共享一个表征空间，与首尾层不同。跳过或交换中间层不会导致灾难性故障，但若用同一层的权重替换多个中间层，性能会急剧下降。这说明中间层虽然表征相似，但各自执行不同的功能，不能简单互换或重复。
层顺序对推理任务尤为关键
改变中间层的顺序（反向或随机）会导致性能逐渐下降，但随机顺序比完全反向效果更好，可能因为保留了部分原始层间关系。在数学和推理任务（如GSM8K）中，顺序依赖性更高，而语义理解任务对顺序不太敏感。这提示我们，涉及逐步推理的任务需要更严格的层顺序。
并行与循环：提升效率的新思路
中间层可以并行运行，但在数学问题上效果不佳。循环并行（将并行层的平均输出反馈迭代）能显著提升性能，且最佳迭代次数与并行化层数成正比。这为模型加速提供了可能，但需注意任务类型。
不同改造策略的影响差异
比较各种改造，重复单一层对性能影响最严重，很快降至随机基线；而随机化层顺序和循环并行影响最小。这表明中间层的多样性至关重要，简单重复会破坏模型功能。未来研究需探索模型对扰动保持稳健的原因。
Q&A
Sakana AI的研究主要探讨了什么内容？
Sakana AI的研究主要探讨了预训练transformer中的信息流及其内部机制。
中间层在transformer中扮演什么角色？
中间层共享一个表征空间，但执行不同的功能，删除一些中间层不会导致灾难性故障。
层的顺序对transformer模型的影响如何？
层的顺序对模型有一定重要性，但改变顺序仍能发挥作用，尤其在数学和推理任务中更为明显。
transformer中的层可以并行运行吗？
大部分情况下，层可以并行运行，但对于需要顺序逻辑理解的数学问题不适用。
重复单一层对模型性能的影响如何？
重复单一层的影响最严重，导致模型性能迅速下降。
循环并行层对模型性能有什么影响？
循环并行层能显著提高模型性能，尤其在适当的输入下表现优异。
