AdaSent: 高效领域自适应句子嵌入用于少样本分类

本研究探讨了针对少样本句子分类的句子编码器 (SE) 的领域专用化策略，提出了 AdaSent 方法，通过在基本的预训练语言模型上训练一个 SE adapter 来解耦句子嵌入的预训练 (SEPT) 和领域自适应预训练 (DAPT)，在多个数据集上证明了 AdaSent 的有效性，并大幅降低了训练成本。