本文研究了无监督原始数据改善自然语言模型预训练的方法，提出了三种替代BERT的预训练目标，并介绍了自监督预训练任务与下游应用结构对齐的方法，展示了在多个任务上的性能提升。

SpacTor-T5: 使用跨度破坏和替换标记检测预训练 T5 模型
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证