仅关注注意力的 Transformer 模型及使用注意力头实现的 MLP
原文中文，约400字，阅读约需1分钟。发表于：。证明了一个 MLP 神经元可以通过具有内部维度 1 的带有掩码注意力头来实现，只要 MLP 的激活函数来自包括 SiLU 以及接近 ReLU 和 GeLU 的受限类。同时证明了注意力头可以分别执行 MLP 的组成部分（线性变换和激活函数），并且可以在其权重矩阵中编码任意的掩码模式，误差可以任意小。
该研究分析了变形器模型的表示能力和内在复杂度参数，证明了其相对于循环网络和前馈网络的优势，且复杂性仅随着输入规模的对数增长。同时，该研究提出了一个三元组检测任务，其中注意力层的复杂性随输入规模线性增长，但可以通过注意力层的自然变种有效地解决。该研究强调了通信复杂度在变形器及其相关模型的分析中的价值。
