AdaSent: 高效领域自适应句子嵌入用于少样本分类

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

该研究提出了一种无监督方法,使用预训练的Transformer和序列去噪自编码器,性能优于先前的方法高达6.4个点,可达到领域内监督方法的93.1%。TSDAE是一种强大的领域自适应和预训练方法,优于其他方法,并在四个不同数据集上进行了评估。

🎯

关键要点

  • 本研究提出了一种基于预训练的Transformer和序列去噪自编码器的无监督方法。
  • 该方法的性能优于先前的方法高达6.4个点。
  • 该方法可以达到领域内监督方法的93.1%的性能。
  • TSDAE被证明是一种强大的领域自适应和预训练方法。
  • TSDAE明显优于其他方法,如遮蔽语言模型。
  • 研究在四个来自异构领域的数据集上评估了TSDAE和其他最近的方法。
➡️

继续阅读