针对鲁棒因果表示学习的预训练语言模型微调
发表于: 。本文研究了预训练语言模型微调在单域场景下如何增强模型的泛化能力,解决了传统方法在应对域外数据时常依赖伪特征的局限。通过引入因果前门调整方法,基于分解假设,作者展示了一种强健的表示如何通过微调表示实现数据增强,实验结果表明该方法在泛化能力上优于现有方法,揭示了微调与因果机制的深层联系。
本文研究了预训练语言模型微调在单域场景下如何增强模型的泛化能力,解决了传统方法在应对域外数据时常依赖伪特征的局限。通过引入因果前门调整方法,基于分解假设,作者展示了一种强健的表示如何通过微调表示实现数据增强,实验结果表明该方法在泛化能力上优于现有方法,揭示了微调与因果机制的深层联系。