变压器如何学习结构化数据：来自层次过滤的洞见
内容提要
本文探讨了基于Transformer模型的研究，重点在于其层次结构学习能力及在自然语言处理中的应用。研究表明，Transformer能够有效捕捉语言层次结构，通过不同的注意力机制和训练方法，在处理长序列数据时表现出色，显著提高了计算效率和性能。
延伸解读
层次结构学习：从语法分析到注意力机制
文章指出，Transformer模型能够通过无监督语法分析捕捉自然语言中的层次结构。2020年的研究扩展了转换器模型，使其学习层次结构并取得较好的无监督语法分析结果。2021年提出的基于矩阵结构的层次注意力方法，在Long Range Arena基准测试上平均提高了6个百分点，并在One-Billion Word数据集上取得了新的SOTA测试困惑度。这表明层次结构学习是提升模型性能的关键方向。
位置编码的替代方案：因果掩码的隐含位置意识
2022年的研究发现，基于因果变换的语言模型（如GPT-3）在没有任何显式位置编码的情况下，仍与标准模型具有竞争力。这种模型通过网络获取隐含的绝对位置概念，推测因果注意力使模型能够推断每个令牌可以关注的前任数，从而近似其绝对位置。这一发现表明，因果LMs除了显式的定位机制外，还可以从因果掩码的影响中推导出位置意识。
训练稳定性与效率：排名坍塌与混合注意力
文章探讨了Transformer自我注意层中的排名坍塌现象，发现其会导致查询和键的梯度消失，但可以通过适当的深度相关的残差分支缩放来预防。此外，2023年提出的MASFormer模型通过混合注意力机制，在处理长序列数据时既能捕捉长距离依赖，又能使用稀疏注意力提高计算效率，显著降低计算成本（多达75%），同时保持与全注意力模型相媲美的性能。
模型深度与泛化：中等深度优势及树状结构恢复
研究表明，通过长时间训练，模型能够学习到层次结构的一般性，且中等深度的模型性能优于浅层和深层模型。2022年的研究还发现，Transformer学习一种简单的基于树状结构的计算过程，通过无监督和无参数的方法，可以在任何transformer和树状结构之间建立功能投影，并在一些情况下无监督地恢复相同的树状结构，这些结构有助于模型的行为改进。
Q&A
变压器模型如何学习自然语言的层次结构？
变压器模型通过扩展其架构，利用无监督学习方法有效捕捉自然语言中的层次结构，取得了较好的语法分析结果。
MASFormer模型有什么特点？
MASFormer模型通过混合的注意力机制在处理长序列数据时，能够捕捉长距离依赖关系，并显著降低计算成本。
研究发现中等深度的变压器模型表现如何？
研究表明，中等深度的变压器模型在性能上优于浅层和深层模型，能够更好地学习层次结构。
如何预防变压器自我注意层中的排名坍塌现象？
可以通过适当的深度相关的残差分支缩放来预防排名坍塌现象，从而避免查询和键的梯度消失。
变压器在长序列数据处理中的优势是什么？
变压器在处理长序列数据时表现出色，能够通过不同的注意力机制提高计算效率和性能。
变压器模型如何处理复杂句法结构？
具备语言建模目标的变压器模型能够更容易学习和推广层次结构，处理复杂句法结构时表现优异。
