随机循环向量的多标签学习
内容提要
本文介绍了一种新算法用于极端多标签分类（XMC），结合数据增强和预训练模型，显著提升了分类效果。Gandalf通过标签共现图和短文本特性，在少量训练实例下超越传统模型，尤其在尾部标签表现突出。此外，GROOV模型可预测开放词汇标签，XR-Transformer加速了大标签空间的微调，提高了训练速度和准确率。
延伸解读
技术演进：从数据增强到开放词汇
文章梳理了极端多标签分类（XMC）的多个技术方向。2020年有研究利用GPT-2生成无标记扰动增强数据，并结合RoBERTa标签注意分类器；2024年的Gandalf则通过标签共现图和短文本特性，在少量训练实例下提升尾部标签表现。2022年的GROOV模型进一步支持开放词汇标签预测，而XR-Transformer专注于加速大标签空间微调。这些工作反映了XMC在数据效率、标签泛化和训练速度上的持续进步。
尾部标签与开放词汇的挑战
在XMC中，尾部标签因训练样本稀少而难以准确预测。Gandalf利用标签共现图和短文本特性构建有效训练实例，在尾部标签的PSP@k指标上表现突出，并能改进现有算法平均5%的相对性能。GROOV则针对开放词汇场景，可预测未在语料库中出现的标签，且在已知标签预测上与最先进方案相当。这表明处理稀有和未知标签是当前研究的重要方向。
效率与精度的平衡
XR-Transformer通过递归方法加速深度Transformer模型在大标签空间上的微调，在Amazon-3M数据集上实现了较快的训练速度，并将Precision@1从51%提升至54%。同时，有研究显示标准双编码器模型在正确训练后，能以少20倍的可训练参数达到或超越最先进方法的Precision@1。这些进展说明，在XMC任务中，训练效率和预测精度可以兼顾，为实际应用提供了更优选择。
Q&A
什么是极端多标签分类（XMC）？
极端多标签分类（XMC）是一种处理具有大量标签的分类任务的方法，旨在从少量训练样本中有效地预测多个标签。
Gandalf模型在极端多标签分类中有什么优势？
Gandalf模型利用标签共现图和短文本特性，在少量训练实例下超越传统模型，特别是在尾部标签的表现上显著提升。
GROOV模型的主要功能是什么？
GROOV模型用于开放词汇的极端多标签分类任务，能够预测未在语料库中出现的标签，并在已知标签的预测上表现优异。
XR-Transformer如何提高训练速度和准确率？
XR-Transformer通过加速深度transformer模型在大标签空间的微调，提升了训练速度和准确率，Precision@1从51%提升至54%。
这篇文章提出了哪些新算法？
文章提出了基于数据增强的XMC方法、Gandalf模型、GROOV模型和XR-Transformer等新算法。
数据增强在极端多标签分类中有什么作用？
数据增强通过生成无标记扰动来增强现有训练数据，从而提高分类效果，尤其是在样本较少的情况下。
