PETapter:利用PET风格分类头进行模块化少样本参数高效微调
📝
内容提要
本研究解决了在专业科学领域中数据稀缺和语言模型规模不断增长所带来的少样本学习与参数高效微调的挑战。提出的PETapter方法有效结合了PEFT与PET风格分类头,在保持高参数效率和模块化的同时,显著提升了少样本学习能力。研究结果表明,PETapter在多个NLP基准数据集上表现出与全面少样本微调相当的性能,同时提高了可靠性和分享性。
🏷️
标签
➡️