预训练的结构化生成变换器:规模化的无监督句法语言模型
原文中文,约400字,阅读约需1分钟。发表于: 。使用大规模预训练结构转换器的句法语言模型(SLM),通过从头开始在原始文本上进行高并行度的无监督训练,弥补了以前的 SLM 存在的限制,如依赖于黄金树和顺序训练。同时,我们介绍了一个表示替代方法,以在硬 EM 方式下联合并行训练模型,证明了 Generative Pretrained Structured Transformers(GPST)在语言理解和语言生成等多个任务中相比 GPT-2...
本文介绍了使用大规模预训练结构转换器的句法语言模型(SLM)来弥补以前的限制,并证明了Generative Pretrained Structured Transformers(GPST)在多个任务中具有优越性。