BriefGPT - AI 论文速递
·
预训练的结构化生成变换器：规模化的无监督句法语言模型
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了使用大规模预训练结构转换器的句法语言模型（SLM）来弥补以前的限制，并证明了Generative Pretrained Structured Transformers（GPST）在多个任务中具有优越性。
🎯
关键要点
-
使用大规模预训练结构转换器的句法语言模型（SLM）弥补了以前的限制。
-
SLM 通过高并行度的无监督训练在原始文本上进行训练。
-
介绍了一种表示替代方法，以在硬 EM 方式下联合并行训练模型。
-
Generative Pretrained Structured Transformers（GPST）在语言理解和生成任务中优于 GPT-2。
-
GPST 在左到右语法归纳方面显著优于现有的无监督 SLM。
-
GPST 具有训练加速的优势。
➡️
