Transformer 和循环体系结构在表示能力上的区别
内容提要
最近的研究表明，递归神经网络（RNN）在语言建模方面的表现与变压器相当，甚至超越。本文探讨了变压器的可解释性方法在新兴RNN架构中的适用性，发现大多数技术有效，并通过利用RNN的压缩状态改善了这些技术。此外，研究强调了RNN在处理长序列数据时的重要性及乘性交互在神经网络中的作用。
延伸解读
RNN 与 Transformer 的表示能力对比
文章指出，近期 RNN 架构如 Mamba 和 RWKV 在语言建模上已能与同规模 Transformer 匹敌甚至超越。同时，研究显示具备线性循环层和前馈路径的 RNN 能实现线性自注意力，暗示某些 RNN 可能内部意外实现了注意力机制。这挑战了 Transformer 在表示能力上绝对领先的传统观点，但具体优劣仍取决于任务和架构设计。
可解释性方法的跨架构适用性
针对 Transformer 设计的可解释性技术，如对比激活添加、调整镜头和潜在知识提取，在应用于新兴 RNN 时大多仍然有效。文章还发现，利用 RNN 的压缩状态可以进一步改善这些技术。这意味着可解释性工具并非 Transformer 专属，但需要根据 RNN 的特性进行调整，尤其是其状态压缩机制可能带来额外优势。
长序列处理与注意力机制的意外实现
文章强调 RNN 在处理长序列数据时的重要性，并指出某些 RNN 通过乘性门控和线性循环层，能够实现线性自注意力。逆向工程表明，梯度下降会自然找到这种机制，说明乘性交互在神经网络中至关重要。这暗示未来架构可能融合 RNN 和注意力的优点，但具体实现和泛化能力仍需进一步验证。
Q&A
递归神经网络（RNN）在语言建模方面的表现如何？
最近的研究表明，RNN在语言建模困惑度和下游评估方面与变压器相当，甚至超越。
变压器的可解释性方法在RNN中适用吗？
研究发现，变压器的可解释性方法在新兴的RNN架构中大多数是有效的。
RNN在处理长序列数据时的重要性是什么？
RNN在处理长序列数据时的重要性得到了强调，尤其是在语言建模中。
RNN如何实现线性自注意力？
具备线性循环层和前馈路径的RNN能够实现线性自注意力，这是变压器的主要组成部分之一。
RNN的压缩状态如何改善可解释性技术？
通过利用RNN的压缩状态，可以改善可解释性技术的效果。
RNN内部是否实现了注意力机制？
研究表明，某些RNN可能在内部意外地实现了注意力机制，强调了乘性交互的重要性。
