IDoFew: 使用语言模型的双聚类中间训练进行少标签文本分类
内容提要
该文综述多项提升文本分类与领域适应性能的研究，包括：在预训练与微调间加入基于聚类的无监督中间任务；通过专门微调使较小模型具备上下文学习能力以用于机器翻译领域适应；提出基于DISTILBERT的多模态框架，适合极小数据集与移动端部署；采用双伪训练策略改进图像生成与分类；利用自训练与未标注对话数据降低标注成本；用预训练密集检索模型在少样本意图与情感分类中优于微调；提出IC-DST将对话状态跟踪转化为文本到SQL并检索示例；提出两阶段方法以“思考”与推理增强大模型上下文学习；提出DaFeC聚类框架提升少样本分类适应性；以及迭代改进伪标签质量的算法。
延伸解读
中间任务：聚类作为预训练与微调的桥梁
文章提出在预训练和微调之间加入一个基于聚类的无监督分类中间任务，并表明这一额外阶段能显著提升文本分类性能。这提示读者，在标注数据有限时，利用无标签数据构造中间任务可能比直接微调更有效。不过，该方法的具体实现细节和适用边界在文中未展开，实际应用时需结合任务特点评估。
小模型也能上下文学习：领域适应的新思路
通过针对专门训练目标进行微调，较小模型可被训练用于执行上下文学习，并在神经机器翻译领域适应任务上验证。该方法允许对多个领域进行高效批处理推理，在翻译质量和即时适应率上优于现有基线。这意味着，在需要快速适应新领域时，小模型结合少量示例可能成为大模型上下文学习的一种实用替代，但文中未说明其泛化到其他任务的可行性。
少样本分类的多种技术路径与权衡
文章综述了多种少样本分类方法：基于DISTILBERT的多模态框架适合极小数据集与移动端部署；预训练密集检索模型在意图和情感分类中优于微调；DaFeC通过聚类提升领域适应性且无需全面访问测试数据；迭代伪标签算法则利用有标注和无标注数据的流形结构改进标签质量。这些方法各有侧重，读者需根据数据规模、部署环境和领域特性选择，而非盲目追求单一最优。
降低标注依赖：自训练与对话检索的实践价值
针对对话系统标注成本高的问题，文章提到利用大量未标记对话数据进行自训练，可在少量标记数据下一致提升现有预训练模型性能。同时，IC-DST将对话状态跟踪转化为文本到SQL并检索标注对话作为示例，在少样本和零样本情境下均优于以往方法。这表明，合理利用未标注数据和检索示例，能有效缓解标注瓶颈，但实际效果可能受领域相似性和示例质量影响。
Q&A
IDoFew方法是如何提升少标签文本分类性能的？
IDoFew在预训练和微调阶段之间加入一个基于聚类的无监督中间分类任务，这种额外的分类阶段可以显著提高文本分类性能。
小模型能否通过微调获得上下文学习能力？
可以。通过针对专门的训练目标进行微调，较小的模型可以被训练用于执行上下文学习，并在神经机器翻译的领域适应任务上得到验证。
在极小数据集上做短文本多类别分类，有什么轻量化的解决方案？
可以使用基于DISTILBERT的多模态深度学习框架，它能在极小数据集上达到与现有最优方法相同的精度、召回率、准确率和F1分数，同时模型体积更小，适合移动设备部署。
如何降低对话系统标注成本并提升预训练模型性能？
通过自我训练方法，利用大量未标记的对话数据进一步改进预训练模型，在少量标记数据可利用时能一致提高现有预训练模型的性能。
预训练密集检索模型在少样本意图分类中表现如何？
在有限样本设置下的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，预训练密集检索模型优于微调性能。
IC-DST方法如何改进小样本对话状态跟踪？
IC-DST将对话状态跟踪优化为文本到SQL问题，并使用新颖的对话检索方法检索标注对话作为样本，在MultiWOZ上小样本情境中明显优于以往最先进模型，零样本情境下也表现更好。
