本文介绍了一种新的自注意力机制“多项式激活自注意力”（SAPA），替代了变换器模型中的softmax函数。SAPA通过多项式函数计算注意力权重，更有效地捕捉长距离依赖关系。研究表明，SAPA在某些语言建模和文本分类任务中优于softmax，但并非在所有任务中都表现更佳，仍需进一步探讨其优缺点。