基于半监督边界感知语言模型预训练的中文序列标注
原文中文,约400字,阅读约需1分钟。发表于: 。通过将监督边界信息用于 BABERT,我们构建了一种半监督的边界感知 PLM,实验结果表明我们改进的 BABERT 在中文序列标注和自然语言理解任务中表现出更好的性能,并且我们提出的度量方法具有方便和准确的评估 PLM 边界感知能力的特点。
本文介绍了一种使用预训练语言模型进行全零样本学习的方法,通过单向和双向PLMs生成和训练数据,并使用提示引导的类别条件文本。该方法在GLUE数据集的七个分类任务中表现出色,相对于零样本提示方法和少样本方法,取得了强有力的结果。同时,采用了标签平滑和时间模型的融合技术以提高泛化和稳定性。