利用大型语言模型从大规模输出空间中提取间接知识的零 - shot 学习
内容提要
本文介绍了多种创新方法用于极端多标签文本分类（XMC），包括预训练的Transformer模型、上下文学习框架和标签生成技术。这些方法在多个公共数据集上表现优异，推动了XMC领域的研究进展。
延伸解读
方法演进：从标签嵌入到生成式分类
文章梳理了极端多标签文本分类（XMC）的多种技术路线。早期方法如X-Transformer和MACLR侧重于标签嵌入与对比学习，而近期研究如GROOV和标签生成方法则转向序列到序列模型，直接生成标签。这种演进反映了XMC从判别式到生成式的范式转变，旨在更好地处理开放词汇和零样本场景。
效率与性能的权衡：双编码器与递归微调
文章提到，经过正确训练的标准双编码器模型在Precision@1上可匹配或超越现有方法，且可训练参数减少20倍。同时，XR-Transformer通过递归方法加速微调，在Amazon-3M数据集上将Precision@1从51%提升至54%。这表明在XMC任务中，模型效率与性能可以兼得，为实际部署提供了参考。
零样本与少样本：XMC的前沿挑战
文章涉及Extreme Zero-Shot XMC和Few-Shot XMC等设定，其中SemSup-XC通过对比学习在零样本和少样本任务上提升了12个精度点以上。GROOV模型也能预测语料库外的标签。这些进展表明，XMC研究正致力于解决标签空间动态扩展和标注数据稀缺的难题，推动模型在真实场景中的泛化能力。
Q&A
MACLR方法是如何解决极端多标签文本分类问题的？
MACLR方法使用预训练的Transformer编码器，通过自监督对比损失学习实例和标签的语义嵌入，从而解决极端多标签文本分类问题。
ICXML框架的主要功能是什么？
ICXML框架通过生成候选标签集并对其进行排名，提升了极端多标签分类任务的研究进展。
GROOV模型的特点是什么？
GROOV模型针对开放词汇的极端多标签分类任务，能够预测给定语料库之外的标签，且在已知标签的预测上表现与现有最先进方案相当。
如何通过标签生成方法提升极端多标签分类的性能？
标签生成方法利用预训练的文本生成模型，通过标签聚类信息对标签进行层次生成，在多个基准测试中表现出色，尤其在影响较小的标签上。
MatchXML框架的关键技术有哪些？
MatchXML框架的关键技术包括标签嵌入、层次标签树和线性排序器，这些技术使其在极端多标签文本分类中取得了最先进的准确率和速度。
XR-Transformer方法的优势是什么？
XR-Transformer方法加速了Transformer模型在大标签空间上的微调过程，并在Amazon-3M数据集上提高了训练速度和Precision@1。
