AdaSent: 高效领域自适应句子嵌入用于少样本分类
原文中文，约200字，阅读约需1分钟。发表于：。本研究探讨了针对少样本句子分类的句子编码器 (SE) 的领域专用化策略，提出了 AdaSent 方法，通过在基本的预训练语言模型上训练一个 SE adapter 来解耦句子嵌入的预训练 (SEPT) 和领域自适应预训练 (DAPT)，在多个数据集上证明了 AdaSent 的有效性，并大幅降低了训练成本。
该研究提出了一种无监督方法，使用预训练的Transformer和序列去噪自编码器，性能优于先前的方法高达6.4个点，可达到领域内监督方法的93.1％。TSDAE是一种强大的领域自适应和预训练方法，优于其他方法，并在四个不同数据集上进行了评估。
