合适的模型：法律多标签分类基线的评估
内容提要
该文综述法律领域多标签文本分类研究：构建EURLEX数据集（含5.7万份法律文档、约4300个EUROVOC标签），带标签注意力的BiGRU优于现有模型，领域词向量、ELMo嵌入及BERT微调可进一步提升性能；MULTI-EURLEX多语言数据集表明部分微调能缓解零样本跨语言迁移中的知识遗忘；LawBench评估显示GPT-4表现最佳但仍有提升空间；编码器-解码器方法与检索增强方法在低资源、长文档场景下表现更优。
延伸解读
领域词向量与BERT微调的实际价值
文章指出，领域特定的Word2Vec和上下文敏感的ELMo嵌入能进一步提升多标签分类性能。同时，通过只考虑文档特定区域来规避BERT的文本长度限制，微调BERT在所有情况下取得了最佳结果。这提示实践者：在法律文本分类中，结合领域预训练词向量与BERT微调是有效路径，且无需处理全文即可获得良好效果。
跨语言迁移中的知识遗忘与缓解
MULTI-EURLEX数据集实验发现，用单一源语言微调多语言预训练模型会导致严重的多语言知识遗忘，零样本跨语言迁移表现变差。但采用部分微调等调整策略可保留跨语言知识，显著提升迁移性能。对于需要处理多语言法律文档的团队，这意味着微调策略需谨慎设计，避免破坏模型原有的多语言能力。
大模型在法律领域的表现与局限
LawBench评估显示，GPT-4在法律领域表现最佳，但仍有很大提升空间。另一项研究发现，类似案例和多项选择选项对大型语言模型回忆领域知识至关重要，且信息检索系统在某些情况下超过了LLM与检索系统的组合，使LLM角色变得多余。这表明当前大模型并非万能，检索增强和传统方法在特定场景下仍具优势。
编码器-解码器与检索增强的适用场景
研究表明，在多个数据集上编码器-解码器方法比仅编码器表现更好，非自回归编码器-解码器取得最优表现。检索增强方法则在标签分布偏斜、低资源训练和长文档数据情境下显著提升性能。对于法律领域常见的低资源、长文档和多标签偏斜问题，这些方法提供了比单纯微调BERT更针对性的解决方案。
Q&A
EURLEX数据集包含多少法律文档和标签？
EURLEX数据集包含约5.7万份法律文档，注释有约4300个EUROVOC标签。
在法律多标签分类中，哪种模型表现优于现有最先进方法？
具有标签注意力的BiGRU模型优于当前其他最先进的模型，用BiGRU替换CNN在基于标签的注意力网络中获得了最佳整体性能。
如何提升法律多标签分类的性能？
领域特定的Word2Vec和上下文敏感的ELMo嵌入可进一步提高性能；只考虑文档中的特定区域就足够了，可规避BERT的最大文本长度限制，并使用微调BERT在所有情况下获得最佳结果。
MULTI-EURLEX数据集在零样本跨语言迁移中有什么发现？
使用单个源语言对多语言预训练模型进行微调会导致多语言语言知识的严重遗忘，从而表现出较差的零样本转移结果；但通过部分微调等调整策略可以帮助保留预训练模型的跨语言知识，显著提高零样本跨语言转移性能。
LawBench评估中哪个模型表现最好？
GPT-4是在法律领域表现最好的模型，但还有很大提升空间。
在低资源、长文档场景下，哪种方法表现更优？
编码器-解码器方法与检索增强方法在低资源、长文档场景下表现更优。
