BriefGPT - AI 论文速递
·
GPT or BERT: Why Not Combine the Two?
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文提出了一种新的混合训练目标，将掩码语言建模与因果语言建模相结合，克服了语言模型训练的局限性。实验结果表明，混合预训练显著优于单独使用掩码或因果模型。
🎯
关键要点
-
本文提出了一种新的混合训练目标，结合了掩码语言建模与因果语言建模。
-
该方法克服了当前语言模型训练的局限性。
-
混合预训练显著优于单独使用掩码或因果模型的结果。
-
实验结果表明，模型能够兼具这两种建模范式的优点。
➡️
