Transformer 模型可以实现长度概括，但不具备鲁棒性
内容提要
本文综述Transformer在算术任务中的长度泛化问题。相对位置编码可帮助简单任务泛化，但乘法仍失败；训练集引导（priming）加入长序列可有效解决。研究还提出注意力偏置校准、改进位置编码与任务提示等方法，并探讨其在算术外的应用。
延伸解读
长度泛化：简单任务可行，乘法仍难
文章指出，Transformer在算术任务中的长度泛化能力因任务复杂度而异。相对位置编码能帮助模型在简单任务上泛化到更长序列，但在乘法任务上失败。这表明模型可能依赖位置信息进行模式匹配，而乘法需要更复杂的算法学习。读者需注意，长度泛化并非普遍适用，任务难度是关键限制。
训练集引导：添加长序列的有效策略
针对乘法泛化失败，文章提出训练集引导方法，即在训练集中加入一些长序列样本。实验证明该方法有效，能提升模型在更长序列上的表现。这提示我们，通过数据设计可以缓解泛化问题，但需权衡数据构造成本。该方法在算术外的潜在应用也值得关注。
注意力偏置校准：实现完美长度泛化
文章介绍了注意力偏置校准阶段，让模型自动学习适当的注意力偏置，并与相对位置编码机制联系。使用ABC后，Transformer在某些算术任务上达到前所未有的完美长度泛化。这为改进位置编码提供了新思路，但需注意其适用范围可能限于特定任务。
任务提示与表示形式：影响泛化的因素
文章提到任务提示方法在排序问题上验证有效，并通过探测和可视化技术理解模型学习行为。此外，表示形式对加减法准确性有很大影响，引入位置标记可使模型准确学习60位数字的加减。这些发现强调，任务设计和输入表示是影响长度泛化的重要因素。
Q&A
Transformer模型在长度泛化方面存在哪些主要挑战？
Transformer模型在长度泛化方面面临两个主要挑战：一是基本整数算术任务中，模型难以泛化到比训练时更长的序列；二是即使像复制字符串这样的简单任务，模型也无法在任意长度序列上泛化。相对位置嵌入能帮助简单任务实现长度泛化，但对乘法任务仍然失败。
什么是训练集引导（priming）方法？它如何解决长度泛化问题？
训练集引导（priming）是一种通过为训练集添加一些长序列来帮助模型泛化到更长序列的方法。研究表明，该方法能有效解决Transformer在算术任务中的长度泛化问题，尤其是乘法任务，并可能应用于算术以外的领域。
注意力偏置校准（ABC）是什么？它如何提升Transformer的长度泛化能力？
注意力偏置校准（ABC）是一种让模型自动学习适当注意力偏置的阶段，通过有针对性的注意力偏置，Transformer模型能够推广到更长的序列。ABC与相对位置编码中的机制相关，使用ABC后，模型在某些算术任务上能达到前所未有的完美长度泛化。
有哪些改进位置编码的方法可以提升Transformer的长度泛化？
文章提到多种改进位置编码的方法：相对位置嵌入能实现简单任务的长度泛化；一种新的位置编码方案可以解决长序列位置编码失效问题，并通过大规模实验证明能提高分类精度；此外，Transformer-XL采用新颖的位置编码方案，能捕捉更长期依赖并解决上下文破碎问题。
任务提示（task prompting）如何改善长度泛化？在哪些任务上验证过？
任务提示方法通过提供任务相关的提示来改善长度泛化问题。在经典的排序问题上验证了其有效性，并通过探测和可视化技术提出了模型学习行为的理论构建，进一步提高了模型在未知长度上的性能。
表现形式对Transformer学习算术任务有什么影响？
研究发现表现形式对序列到序列语言模型学习加减法算术任务的准确性有很大影响。通过引入位置标记，模型可以准确学习添加和减少60位数字。但无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。
