研究发现，单头softmax注意力模型在分类任务中经过两步梯度下降后可以出现良性过拟合。信号与噪声比（SNR）对过拟合有影响，且足够大的SNR是实现良性过拟合的必要条件。

Benign Overfitting in Single-Head Attention
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证