变换器在不同深度下能学到什么？对序列学习任务的案例研究
内容提要
本文探讨了 Transformer 网络在算法任务中的应用，提出了一种概率框架以优化多语言机器翻译性能，解决了梯度消失问题。研究表明，深层模型在语言建模中表现更佳，并分析了多头注意力层的记忆能力及其对目标函数的影响。此外，研究揭示了 Transformer 的关键参数对表达能力的作用，并提出了有效的模型调整方法。
延伸解读
深度与泛化：为何更深模型更优
文章指出，深层Transformer在语言建模和组成性泛化上优于浅层模型。这提示我们，在序列任务中增加深度可能带来更好的泛化能力，但需注意梯度消失问题。研究提出的概率框架通过自动选择层来缓解该问题，使100层网络稳定训练，为深层模型的设计提供了实用思路。
多头注意力的记忆容量与参数影响
理论分析表明，在输入恒定时，具有H个注意力头的层记忆容量为O(Hn)，即记忆能力与头数成正比。这解释了多头机制在存储信息方面的作用。同时，研究揭示了层数和注意力头数等关键参数对模型表达能力的综合影响，为调整模型结构以平衡容量与复杂度提供了依据。
注意力层的理论边界与任务复杂度
文章通过稀疏平均和三元组检测任务，对比了Transformer与循环、前馈网络的复杂度。在稀疏平均中，Transformer复杂度随输入对数增长，而其他网络多项式增长；但在三元组检测中，注意力层复杂度线性增长。这表明Transformer的优势并非绝对，其效率高度依赖任务结构，实际应用中需评估任务特性。
动态层选择：效率与精度的权衡
研究提出一种可在不同阶段输出预测并调整所用层的Transformer模型。在IWSLT德英翻译任务中，该方法仅用不到四分之一的解码器层数就达到了与调优基线相当的精度。这展示了动态计算分配在减少计算量同时保持性能的潜力，为资源受限场景提供了优化方向。
Q&A
Transformer 模型如何优化多语言机器翻译的性能？
研究提出了一种概率框架，自动选择使用的层以优化 Transformer 模型在多语言机器翻译中的性能，解决了梯度消失问题。
深层模型在语言建模中有什么优势？
深层模型相比浅层模型在语言建模任务中表现更佳，能够实现更好的组成性泛化。
多头注意力层的记忆能力是如何影响模型的？
多头注意力层的记忆能力与注意力头数成正比，证明其在输入数据恒定情况下的记忆容量为 O(Hn)。
注意力层对目标函数的影响有哪些？
注意力层对目标函数的表达能力、学习复杂度及采样分布有显著影响，经过理论研究和实验验证。
Transformer 中的关键参数有哪些？
Transformer 中的关键参数包括层数和注意力头数，这些参数对模型的表达能力有重要影响。
如何有效调整 Transformer 模型以提高性能？
研究提出了一些有效的模型调整方法，以优化 Transformer 的性能，特别是在多语言任务中。
