Benign Overfitting in Single-Head Attention
原文英文，约100词，阅读约需1分钟。
📝
内容提要
研究发现，单头softmax注意力模型在分类任务中经过两步梯度下降后可以出现良性过拟合。信号与噪声比（SNR）对过拟合有影响，且足够大的SNR是实现良性过拟合的必要条件。
🏷️
