椭圆形注意力
原文中文，约200字，阅读约需1分钟。发表于：。应用 Mahalanobis 距离计算注意力权重，将模型的特征空间在高上下文相关性方向进行拉伸，从而达到减少特征塌缩和提升模型鲁棒性的效果，验证了在多个实际任务中 Elliptical Attention 相对于基线 dot-product attention 和最先进的方法的优越性。
本文研究自注意力的局部李普希茨常数，改进了先前的结果，并从理论角度探讨了Transformer和多头注意力机制在神经网络的鲁棒性问题。发现高局部李普希茨常数的测度通常由少数的狄拉克函数组成，且质量分布不均衡。同时，还发现在某些输入情况下，复制令牌的攻击比仅移动令牌的攻击效果更好，称之为质量分裂现象。
