本文探讨了神经网络在算法任务中的超出分布泛化性能,提出了一种新方法“位置注意力”,通过固定位置编码来确定注意力权重,从而提升模型在超出分布任务中的表现。研究表明,使用位置注意力的变换器能够有效模拟并行算法。
完成下面两步后,将自动完成登录并继续当前操作。