重新思考自注意力机制：用于捕捉长距离依赖关系的多项式激活
原文英文，约600词，阅读约需3分钟。发表于：。This is a Plain English Papers summary of a research paper called Rethinking Self-Attention: Polynomial Activations for Capturing Long-Range Dependencies. If you like these kinds of analysis, you...
本文介绍了一种新的自注意力机制“多项式激活自注意力”（SAPA），替代了变换器模型中的softmax函数。SAPA通过多项式函数计算注意力权重，更有效地捕捉长距离依赖关系。研究表明，SAPA在某些语言建模和文本分类任务中优于softmax，但并非在所有任务中都表现更佳，仍需进一步探讨其优缺点。
