BriefGPT - AI 论文速递 · 2024-07-05T00:00:00Z

通过预训练来增强结构归纳偏见，以执行句法转换

📝

内容提要

我们提出通过中间预训练来增强 Transformer 的结构归纳偏差，以执行在给定转换描述的情况下合成生成的依存树的语法转换，实验证明这有助于进行少样本学习和结构化推断。