本文介绍了一种使用预训练语言模型进行全零样本学习的方法,通过单向和双向PLMs生成和训练数据,并使用提示引导的类别条件文本。该方法在GLUE数据集的七个分类任务中表现出色,相对于零样本提示方法和少样本方法,取得了强有力的结果。同时,采用了标签平滑和时间模型的融合技术以提高泛化和稳定性。
研究了标签平滑对神经机器翻译中波束搜索解码的影响,发现翻译长度受到上限约束。通过修正函数恢复了标签平滑模型的无偏分布,实验证明该方法在多个任务中都有质量改进。
研究发现,传统标签平滑会增加深度学习模型的隐私泄露,而采用负因子的平滑可以提高隐私保护性并增强模型的鲁棒性。
完成下面两步后,将自动完成登录并继续当前操作。