nGPT: A Normalization Transformer with Hyperspherical Representation Learning

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新型归一化变换器nGPT,通过在超球面上进行表示学习,显著提高了训练速度和准确性,训练步骤减少了4到20倍。

🏷️

标签

➡️

继续阅读