本文提出了一种新颖的置信度正则化方法，旨在解决掩码语言建模中因输入文本长度短而导致的模型过度自信问题。实验结果显示，该方法在GLUE和SQuAD数据集上提高了准确性并降低了校准误差。

本研究提出了一种新方法，通过掩码语言建模头使BERT等编码器模型能够进行生成分类。该方法在零-shot分类和知识任务上表现优越，具有广泛应用潜力。

本文提出了一种新的混合训练目标，将掩码语言建模与因果语言建模相结合，克服了语言模型训练的局限性。实验结果表明，混合预训练显著优于单独使用掩码或因果模型。

本文介绍了一种名为Mask-tuning的训练方法，通过将掩码语言建模（MLM）训练目标整合到微调过程中，提高了预训练语言模型（PLMs）的泛化能力。研究结果表明，Mask-tuning超越了当前最先进的技术，并增强了PLMs在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。