椭圆形注意力
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文提出了一种与 Transformer 自注意力机制兼容的新函数，优化了注意力计算，减少了参数和训练步骤。实验结果表明，该方法在多个任务中表现优异，特别是在处理长序列时提高了效率和准确性。
🔎
延伸解读
注意力缩放新方法：避免梯度消失
文章提出通过除以键值长度之和而非平方根来缩放点积，以避免softmax导致的梯度消失。这种方法在模拟实验中显示更有效，可能提升训练稳定性。
Synthesizer模型：无需token交互的注意力
Synthesizer模型学习合成注意力权重，无需token间交互，在多个任务中表现竞争性，且比动态卷积和Linformers更快，提高了perplexity。这为注意力机制提供了新思路。
DA-Transformer：距离感知提升性能
DA-Transformer模型捕捉输入token间的真实距离信息，用于自注意力计算，在五个基准数据集上表现明显优于Transformer及其变体，显示了距离信息的重要性。
理论分析：自注意力的鲁棒性与粒子系统
研究自注意力的局部李普希茨常数，发现高常数测度由少数狄拉克函数组成，质量分布不均衡。将Transformer视为粒子系统，证明表示粒子会聚集到极限对象，取决于值矩阵的谱，数学上证实了“leader”现象。
❓
Q&A
椭圆形注意力的主要创新是什么？
提出了一种与 Transformer 自注意力机制兼容的替代性兼容函数，优化了注意力计算。
这种新方法在 GLUE 基准测试中的表现如何？
在 GLUE 基准测试中得分 79.36，减少了可训练参数数量的 6％，并将收敛前所需的训练步骤减少了一半。
椭圆形注意力如何解决梯度消失问题？
通过新的缩放方法，避免了在应用 softmax 时导致的梯度消失问题。
Synthesizer 模型与传统模型相比有什么优势？
Synthesizer 模型在多个任务中表现竞争力，且计算效率高于动态卷积和 Linformers。
DA-Transformer 模型的特点是什么？
DA-Transformer 模型能够捕捉输入 token 之间的真实距离信息，显著提高了性能。
文章中提到的自注意力的鲁棒性问题是什么？
研究了自注意力的局部李普希茨常数，探讨了 Transformer 的鲁棒性问题。
🏷️
