本研究提出了softmax-1重构方法和OrthoAdam优化器，针对自回归变换器中的两个现象，有效降低了对第一个标记的关注，提升了量化后模型的性能。

从注意力到激活：揭示大型语言模型的谜团
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证