Transformer 过度平滑的真相
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究提出了一种参数化方法，用于控制Transformer模型的频谱，避免过度平滑输入，提高表达能力。该方法在更多层次、更少数据点和受损数据的训练情况下仍然有效。
🏷️
