BriefGPT - AI 论文速递
·
AdaSent: 高效领域自适应句子嵌入用于少样本分类
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
该研究提出了一种无监督方法，使用预训练的Transformer和序列去噪自编码器，性能优于先前的方法高达6.4个点，可达到领域内监督方法的93.1％。TSDAE是一种强大的领域自适应和预训练方法，优于其他方法，并在四个不同数据集上进行了评估。
🎯
关键要点
- 本研究提出了一种基于预训练的Transformer和序列去噪自编码器的无监督方法。
- 该方法的性能优于先前的方法高达6.4个点。
- 该方法可以达到领域内监督方法的93.1%的性能。
- TSDAE被证明是一种强大的领域自适应和预训练方法。
- TSDAE明显优于其他方法，如遮蔽语言模型。
- 研究在四个来自异构领域的数据集上评估了TSDAE和其他最近的方法。
🏷️
标签
➡️
