MatFormer: 嵌套变压器用于弹性推理
原文中文，约400字，阅读约需1分钟。
📝
内容提要
NormFormer 结构通过规范化操作解决 Pre-LayerNorm transformer 的梯度幅度失配问题，改善语言模型的预训练感知度和下游任务表现。使用 NormFormer 结构进行掩蔽语言建模可提高预训练过程的 GLUE 性能 1.9%。
🏷️
