椭圆形注意力

BriefGPT - AI 论文速递 · 2024-06-19T00:00:00Z

本文研究自注意力的局部李普希茨常数，改进了先前的结果，并从理论角度探讨了Transformer和多头注意力机制在神经网络的鲁棒性问题。发现高局部李普希茨常数的测度通常由少数的狄拉克函数组成，且质量分布不均衡。同时，还发现在某些输入情况下，复制令牌的攻击比仅移动令牌的攻击效果更好，称之为质量分裂现象。