打乱/跳过Transformer层会怎样？最新研究揭开其信息流动机制，一口气解答8大问题
内容提要
最新研究揭示了Transformer层的信息流动机制，发现中间层共享一个表征空间，但与最前面和最末尾的层具有独立的表征空间。实验发现，省略部分中间层对整体性能影响不大。中间层执行不同功能，层的顺序对性能有一定影响，但随机顺序性能优于逆序。并行运行中间层对大多数任务有帮助，迭代执行并行层可以提高性能。重复单一层效果最差，迭代并行和随机层顺序性能退化最小。
延伸解读
中间层共享表征空间，但功能各异
研究发现，Transformer的中间层共享一个表征空间，而最前和最后几层则拥有独立的表征空间。这意味着中间层可以在同一空间内操作，但每个层执行不同的功能。跳过部分中间层对性能影响不大，但用同一层的权重替换所有中间层会导致性能急剧下降，说明中间层并非冗余，而是各有分工。
层顺序影响性能，随机优于逆序
实验表明，改变中间层的顺序会影响模型性能，但随机顺序的性能优于完全逆序。这可能是因为随机顺序至少保留了一些层间的相对顺序，而逆序完全打破了训练时的顺序。此外，跳过层比逆序或随机顺序的性能更差，说明即使层在非训练顺序下运行，仍能进行有效输出。
并行运行中间层可行，迭代可提升性能
并行运行中间层在大多数任务上可行，但数学推理任务除外。迭代执行并行层可以显著提高性能，最佳迭代次数大致与并行层数成线性比例。这表明，通过多次迭代，并行层可以逐步整合信息，模拟顺序执行的效果。
推理任务更依赖层顺序
在抽象推理和数学推理任务中，改变层顺序（如逆序、跳过、并行）会导致性能更快速的下降。这是因为推理任务需要结合结构和语义信息，而语义任务（如常识推理）仅需语义信息即可完成。因此，对于推理密集型应用，保持层的原始顺序更为重要。
Q&A
Transformer层的中间层共享表征空间吗？
是的，中间层共享一个表征空间，而最前面和最末尾的层具有独立的表征空间。
省略中间层对模型性能有影响吗？
省略部分中间层对整体性能影响不大。
层的顺序对Transformer模型性能有影响吗？
层的顺序对性能有一定影响，随机顺序性能优于逆序。
可以并行运行Transformer的中间层吗？
可以并行运行中间层，且大多数任务中表现优于跳过层。
迭代执行并行层会提高性能吗？
是的，迭代执行并行层可以显著提高性能。
重复单一层的效果如何？
重复单一层的效果最差，性能迅速退化至随机基准线。
