BriefGPT - AI 论文速递
·
基于半监督边界感知语言模型预训练的中文序列标注
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了一种使用预训练语言模型进行全零样本学习的方法，通过单向和双向PLMs生成和训练数据，并使用提示引导的类别条件文本。该方法在GLUE数据集的七个分类任务中表现出色，相对于零样本提示方法和少样本方法，取得了强有力的结果。同时，采用了标签平滑和时间模型的融合技术以提高泛化和稳定性。
🎯
关键要点
-
提出了一种使用预训练语言模型进行全零样本学习的方法。
-
该方法使用单向和双向PLMs生成和训练数据。
-
训练数据是使用提示引导的类别条件文本。
-
在GLUE数据集的七个分类任务中表现出色。
-
在MNLI-m/mm上取得了72.3/73.8的成绩，在SST-2上取得了92.8的成绩。
-
相对于零样本提示方法，取得了与少样本方法相当的结果。
-
采用了标签平滑和时间模型的融合技术以提高泛化和稳定性。
➡️
