KeNet: 知识增强的 Doc-Label 注意力网络用于多标签文本分类
内容提要
本文综述多标签文本分类研究进展，涵盖图注意力网络、多任务学习、预训练模型、ML-Net、标签树层次分类、LAHA、检索增强、头到尾网络、元数据对比学习及DKEC等方法，旨在提升标签相关性建模及少样本与长尾标签分类性能。
延伸解读
标签相关性建模的演进
文章梳理了多标签文本分类中标签相关性建模的多种方法。早期基于图注意力网络的模型通过特征矩阵和相关矩阵捕捉标签依赖，后续研究引入多任务学习和文档-标签交叉注意力机制，生成更具区分度的文档表示。这些方法在多个数据集上验证了标签相关性对分类性能的提升，反映了该领域从简单标签共现到复杂注意力机制的发展趋势。
少样本与长尾标签的应对策略
针对少样本和长尾标签分类难题，文章介绍了多种解决方案。头到尾网络（HTTN）通过传递元知识从富数据头标签到缺乏数据的尾标签，提升尾分类器泛化能力；检索增强方法利用交叉关注和检索改善样本效率，在标签分布偏斜和低资源训练情境下表现显著；元数据引导对比学习则能在无标注文件时提升长尾分布下的性能。这些方法共同指向提升尾部标签分类效果的目标。
预训练模型与领域知识的融合
文章提到预训练语言模型在低监督情况下能有效提升多标签文本分类性能，而结合Transformer的方法在部分数据集上表现优秀。此外，DKEC算法通过融合领域知识与文本特征，在医学诊断预测中取得卓越表现，尤其对少样本类别优势明显，并有助于小型语言模型达到与大型语言模型相当的性能。这表明预训练模型与领域知识的结合是提升分类效果的重要方向。
Q&A
KeNet 是什么？它主要用于解决什么问题？
KeNet 是一种基于图注意力网络的模型，用于多标签文本分类，旨在捕捉标签之间的关注依赖结构，提升标签相关性建模。
KeNet 模型是如何工作的？
KeNet 使用特征矩阵和相关矩阵来探索标签之间的关系，并生成可用于端到端训练的分类器。
KeNet 在哪些数据集上进行了评估？性能如何？
KeNet 在 5 个真实的多标签文本分类数据集上进行了评估，表现出与先前最先进模型相似或更好的性能。
多标签文本分类中，有哪些方法可以增强标签相关性学习？
可以通过引入多任务学习和标签相关性反馈机制来增强标签相关性学习，例如采用文档-标签交叉注意力机制生成更具区分度的文档表示，以及两个辅助标签共现预测任务。
针对少样本和长尾标签的多标签文本分类，有哪些解决方案？
头到尾网络（HTTN）通过传递元知识从富数据头标签到缺乏数据的尾标签，提高尾分类器的泛化能力；元数据引导对比学习可以在没有标注文件的情况下，特别是在长尾标签分布时，提供更好的多标签文本分类性能。
DKEC 算法在医学诊断预测中有什么优势？
DKEC 算法融合领域知识与文本特征，以标签关注机制为基础，在医学诊断预测领域取得卓越表现，尤其对于少样本类别具有显著优势，并有助于小型语言模型取得与大型语言模型相当的性能。
