Sakana AI发表论文《Transformer Layers as Painters》，探究预训练transformer中的信息流，进行一系列实验。实验结果显示，中间层共享一个表征空间，但与外围层不同。删除一些中间层不会导致灾难性故障。层的顺序对模型有一定重要性，但改变顺序仍能发挥作用。层可以并行运行，但对于需要顺序逻辑理解的数学问题不适用。数学和推理任务对层的顺序依赖性更高。循环并行层能提高模型性能。重复单一层影响最严重，随机化层顺序和循环并行影响最小。