LASER: Attention Mechanism with Exponential Transformation
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了LASER注意力机制，解决了Transformers中小梯度信号的问题。LASER通过改进梯度传播，在多项任务上平均提高了约1%的准确率，显著提升了大规模语言模型的泛化能力。
🏷️
