通过实验和注意力分析，研究了transformer模型在学习算术算法方面的能力，并确定了关键因素。展示了transformer模型能够通过有针对性的注意力偏置推广到长长度，并引入了注意力偏置校准阶段。使用ABC，transformer模型在某些算术任务上达到了完美长度广义。

本文研究了transformer模型在学习算术算法方面的能力，并确定了实现最佳长度泛化的关键因素。通过有针对性的注意力偏置和注意力偏置校准阶段，模型能够自动学习适当的注意力偏置，达到前所未有的完美长度广义。