基于 Transformer 的模型在学习模拟结构递归方面仍不完美
内容提要
本文综述Transformer在程序编写与形式验证中的表现,指出其处理结构递归和长距离嵌套依赖时存在明显缺陷,表现远低于机会水平。研究提出推入式层、循环Transformer及神经程序员-解释器框架等改进方法,以增强递归状态跟踪与泛化能力。实验表明,这些方法可提升样本效率和句法泛化,但模型推理仍主要依赖表层模式,扰动可使F1分数降至17%以下。
延伸解读
递归处理:Transformer 的结构性短板
文章指出,Transformer 在处理嵌套构造中的长距离依赖时表现远低于机会水平,尽管短距离依赖接近完美。这揭示了其在结构递归上的根本缺陷,即缺乏显式的递归状态跟踪机制。这种缺陷可能导致模型在需要深层嵌套推理的任务中失效,而不仅仅是性能下降。
改进方法:从推入式层到循环架构
为增强递归状态跟踪,研究提出了推入式层、循环 Transformer 及神经程序员-解释器框架。推入式层通过估计令牌深度模拟递归状态,在句法泛化上表现更好,并具有 3-5 倍的样本高效性。循环 Transformer 则以少于 10% 的参数达到与标准 Transformer 相当的性能。这些方法提升了样本效率和泛化能力,但未根本解决表层模式依赖问题。
泛化局限:表层模式主导与扰动敏感
实验表明,模型推理仍主要依赖表层模式,而非对数学运算的深层理解。扰动可导致 F1 分数降至 17% 以下,说明性能对输入变化高度敏感。此外,随着嵌入维度增加,Transformer 在符号标签任务中无法泛化,呈现“反比例尺律”。这些发现提示,当前改进方法虽有效,但泛化能力仍受限于数据分布和表面特征。
Q&A
Transformer模型在处理结构递归时存在哪些主要缺陷?
Transformer语言模型在处理短距离嵌入依赖时表现接近完美,但在处理嵌套构造中的长距离嵌入依赖时,表现远低于机会水平,缺乏明确的递归状态跟踪机制。
有哪些方法可以改进Transformer对递归状态跟踪和泛化能力?
研究提出了推入式层、循环Transformer以及神经程序员-解释器框架等方法。推入式层通过跟踪每个令牌的估计深度模拟递归状态;循环Transformer将迭代特性纳入架构;神经程序员-解释器框架在少量训练数据下具有更好的泛化性和可解释性。
推入式层是如何提升Transformer的句法泛化能力的?
推入式层是一种新的自我关注层,通过跟踪已观察前缀的增量解析中每个令牌的估计深度来模拟递归状态。使用推入式层的Transformer语言模型在句法泛化方面表现更好,并具有3-5倍的样本高效性,同时保持类似的困惑度。
Transformer在数学推理任务中的表现如何?
在超大规模实验中,Transformer编码器在数学推理和泛化上表现不佳,扰动严重影响性能,可将F1分数降至低于17%,表明推理主要由与数学运算的深层理解无关的表层模式所支配。
神经程序员-解释器框架如何解决神经网络学习程序时的泛化问题?
该框架通过实现递归来解决学习程序时神经网络泛化能力和推理能力不足的问题,证明在少量训练数据的情况下具有更好的泛化性和可解释性,表明神经网络需要像递归这样的概念来更好地学习程序语义。
Transformer在算法任务中表现如何?
多层Transformer网络在算法任务中展示了任务分解的可靠性解决方案,以及所有相关任务中的共享计算的利用。