打乱/跳过Transformer层会怎样？最新研究揭开其信息流动机制，一口气解答8大问题

最新研究揭示了Transformer层的信息流动机制，发现中间层共享一个表征空间，但与最前面和最末尾的层具有独立的表征空间。实验发现，省略部分中间层对整体性能影响不大。中间层执行不同功能，层的顺序对性能有一定影响，但随机顺序性能优于逆序。并行运行中间层对大多数任务有帮助，迭代执行并行层可以提高性能。重复单一层效果最差，迭代并行和随机层顺序性能退化最小。