将变压器视为所罗门夫归纳法的近似
内容提要
本文探讨了Transformer模型在序列到序列函数逼近中的通用逼近性，分析了自注意力和前馈层的作用，提出了新的神经网络架构Sumformer，并比较了Transformer与广义状态空间模型在复制任务上的性能，结果表明Transformer在效率和泛化能力上表现更佳。
延伸解读
Transformer的通用逼近能力
文章指出，Transformer具有连续排列等变序列到序列函数的通用逼近性，而位置编码的引入使其能够逼近任意连续序列到序列函数。这意味着Transformer在理论上可以处理广泛的序列建模任务，但实际性能还取决于架构设计和训练数据。
Sumformer架构的提出
文章介绍了Sumformer，一种新的神经网络架构，能够近似等变序列到序列的函数。作者在Linformer和Performer上实现了首个通用逼近结果，并提出了仅需一个注意力层即可实现通用逼近的新证明。这为设计更高效的Transformer变体提供了理论依据。
与状态空间模型的性能对比
在需要复制上下文的合成任务上，Transformer在效率和泛化能力上均优于广义状态空间模型（GSSMs）。理论分析表明，两层Transformer可以复制指数长度的字符串，而GSSMs因固定大小的潜在状态而受限。预训练大语言模型的评估也显示，Transformer在复制和检索上下文信息任务上远胜状态空间模型。
Q&A
Transformer模型的通用逼近性是什么？
Transformer模型具有连续排列等变序列到序列函数的通用逼近性，可以普遍逼近任意的连续序列到序列函数。
Sumformer架构有什么创新之处？
Sumformer是一种新的神经网络架构，可以近似等变序列到序列的函数，并在Linformer和Performer上实现了第一个通用的逼近结果。
Transformer与广义状态空间模型在性能上有什么区别？
实验表明，Transformer在需要复制上下文的合成任务上优于广义状态空间模型，在效率和泛化能力上表现更佳。
位置编码在Transformer中起什么作用？
位置编码绕过了排列等变性的限制，使得Transformer能够处理连续序列到序列的函数。
Transformer在复制任务中的表现如何？
Transformer在复制和检索上下文信息的任务上远远胜过状态空间模型，能够复制指数长度的字符串。
Transformer模型的局限性是什么？
研究发现Transformer在语言模型方面存在局限性，尤其是在信息理论意义上的普适预测性和非渐近数据区域的性能。
