优化基于 Transformer 的机器翻译模型,以便在单个 GPU 训练中达到最佳性能:超参数淘汰研究

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本文研究了使用单个消费级GPU训练一天的遮蔽语言模型的下游性能,并通过修改预训练流程证明了性能与大型计算环境下的缩放定律密切相关。

🏷️

标签

➡️

继续阅读