本研究提出了一种参数化方法，用于控制Transformer模型的频谱，避免过度平滑输入，提高表达能力。该方法在更多层次、更少数据点和受损数据的训练情况下仍然有效。

Transformer 过度平滑的真相
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证