HiLight：一种具有层次感知的轻量级全局模型和层次局部对比学习
内容提要
本文介绍了多种层次文本分类方法，如HTCInfoMax、HGCLR、HBGL、HiTIN、HJCL和HiGen，旨在解决标签不平衡和噪声引入等问题。这些方法在多个数据集上表现出显著的性能提升。
延伸解读
层次文本分类的演进脉络
从2021年的HTCInfoMax到2024年的HierICRF，层次文本分类方法在三年多时间里快速迭代。早期方法如HTCInfoMax侧重信息最大化以处理标签不平衡，随后HGCLR、HBGL等引入对比学习和全局-局部层次结构，近期研究则转向少样本、自监督和生成式框架。这一演进反映了该领域从基础建模到复杂场景适应的趋势。
对比学习成为主流技术路线
在列出的方法中，HGCLR、HJCL、HILL等均采用了对比学习策略。HGCLR通过层次指导生成正样本，HJCL利用批次数据实现对比目标，HILL则设计信息无损对比学习以保留语义和句法信息。这些工作表明，对比学习能有效增强层次感知的文本表示，并缓解半监督学习中的噪声问题。
少样本与自监督的探索
2024年的两项研究关注少样本场景：基于预训练语言模型的语境学习框架通过检索相关演示和迭代策略处理多层次标签，HierICRF则迁移预训练知识并保持层次一致性。同时，HILL探索了自监督学习的可行性。这些方向旨在降低对大量标注数据的依赖，提升模型在数据稀缺条件下的实用性。
数据集与性能验证的共性
多数方法在ENZYME、WOS、NYT等基准数据集上进行了评估，并报告了性能提升。例如HiGen在三个数据集上展示优越性能，HiTIN在多个数据集上实现更少内存消耗。这些共性表明，层次文本分类研究已形成相对统一的评测基准，但各方法在具体指标上的差异仍需结合实验细节判断。
Q&A
HTCInfoMax方法解决了哪些层次文本分类中的问题？
HTCInfoMax方法解决了与样本不相关的标签信息和未考虑标签统计特性的问题。
HGCLR方法的主要优势是什么？
HGCLR方法通过层次指导学习生成具备层次感知的文本表示，在多个基准数据集上取得了显著改善。
HiGen框架如何处理多标签文本分类中的类别不平衡问题？
HiGen框架通过动态文本表示和层级引导的损失函数，结合任务特定的预训练策略来减轻类别不平衡问题。
HJCL方法是如何解决半监督学习中的噪声问题的？
HJCL方法通过构造批次数据以实现对比学习目标的完全利用，从而解决样本生成引入的噪声问题。
HiTIN模型在文本表示方面有什么创新？
HiTIN模型利用标签层次的句法信息增强文本表示，实现了良好的表现和更少的内存消耗。
HierICRF方法在少样本情况下的表现如何？
HierICRF方法在少样本情况下显著提高了层次文本分类的性能，同时保持了层次一致性。
