SpacTor-T5: 使用跨度破坏和替换标记检测预训练 T5 模型

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文研究了无监督原始数据改善自然语言模型预训练的方法,提出了三种替代BERT的预训练目标,并介绍了自监督预训练任务与下游应用结构对齐的方法,展示了在多个任务上的性能提升。

🏷️

标签

➡️

继续阅读