本文介绍了一种新方法，使用固定位置编码来确定注意力权重，称为位置注意力。该方法解决了神经网络在算法任务中泛化性能差的问题，提升了超出分布的表现，并保持模型的表现力，使变换器能有效模拟并行算法。