FuseGen: 基于数据生成的零样本学习的 PLM 融合
内容提要
本文介绍了多种基于预训练语言模型的零样本学习方法，如SunGen、ZeroGen和ProGen，旨在自动生成高质量数据以提升模型性能。这些方法在文本分类、问答和自然语言推理等任务中表现优异，有效提高了小型模型的泛化能力和推理效率。
延伸解读
零样本学习的数据生成策略
文章介绍了多种基于预训练语言模型的数据生成方法，如SunGen、ZeroGen和ProGen，它们通过自动构建高质量数据来提升零样本学习性能。这些方法的核心是利用PLM生成合成数据，再训练小型模型，从而在文本分类、问答等任务中实现高效推理。
方法演进与性能提升
从SunGen的噪声鲁棒重加权，到ZeroGen的无监督生成，再到ProGen的渐进式反馈，这些方法不断优化数据生成质量。ProGen仅用1%的合成数据就达到与基线相当或更好的性能，而加权最大似然训练在GLUE基准上超过无增加方法5+平均点。
领域通用性与多模态扩展
研究还探索了生成适用于任意领域的数据集，以提高小型任务模型的领域通用性，实验证明参数少几个数量级仍能泛化。此外，Genixer将数据生成扩展到多模态指令调整，在图像字幕和视觉问答等任务上取得最先进性能。
Q&A
SunGen 是什么？
SunGen 是一种噪声鲁棒的框架，用于自动构建零样本分类问题中的高质量数据，旨在提升模型性能和效率。
ZeroGen 如何提高模型的推理效率？
ZeroGen 是一种灵活高效的零样本学习方法，通过基于预训练语言模型生成无监督数据集，适用于文本分类、问答和自然语言推理等任务，从而提高推理效率。
ProGen 的主要特点是什么？
ProGen 是一种渐进式的零样本数据集生成框架，利用任务特定模型的反馈生成新的训练数据，实验表明其在文本分类上有效。
如何通过加权最大似然度量训练生成器？
使用加权最大似然度量训练生成器可以鼓励生成器生成分类标签的样本，从而在小样本和合成样本上取得更好的结果。
预训练语言模型在零样本学习中的应用效果如何？
使用预训练语言模型进行全零样本学习的自然语言理解任务，在多个分类任务上取得了强劲表现，显示出良好的泛化能力。
Genixer 是如何改进大型语言模型性能的？
Genixer 通过创新的数据生成方法，为不同任务生成高质量的多模态指令调整数据，从而改进现有大型语言模型的性能。
