法律特化的力量：Lawma
内容提要
近期研究表明，大型语言模型（LLMs）在法律领域的应用表现良好，尤其是在合同条款分类等任务中，尽管未经过专门训练。然而，其性能仍低于经过微调的小型法律模型，显示出对法律专业知识的需求。此外，LLMs在税法应用中的表现有限，强调了微调和领域知识的重要性。
延伸解读
通用大模型的法律任务表现：零样本能力与局限
文章比较了三个通用大语言模型在LexGLUE合同条款分类基准上的零样本性能，发现它们虽未专门训练法律数据，但多数情况下能正确分类主题。然而，其微F1和宏F1指标比经过法律领域微调的小型模型低19.2%和26.8%，表明通用模型在法律专业任务上仍有明显差距，需要更强大的法律领域大模型。
税法应用：少量提示提升有限，专业推理仍是瓶颈
在税法应用中，使用少量提示可以显著提高最先进模型的性能，但它们仍不能像专业税务律师那样进行推理和判断。这凸显了微调和领域知识的重要性，仅靠提示工程难以达到专业水平，法律实践中的可靠性仍存疑。
微调与领域知识注入：提升法律任务表现的关键
研究表明，对LLM进行微调可以显著提高其在法律相关任务中的表现，甚至使较旧的LLM接近完美。在持续训练中注入领域知识并设计正确的监督微调任务，结合检索模块，能使模型更可靠地生成答案。这强调了领域专业知识在LLM训练中的必要性。
信息检索系统的角色：有时超越LLM，引发冗余担忧
研究还发现，信息检索系统在某些情况下表现超过了LLM与信息检索系统的组合，从而使LLM的角色变得多余。这提示在法律领域，传统信息检索方法可能在某些任务中仍具优势，LLM的集成需权衡其实际价值。
Q&A
大型语言模型在法律领域的应用面临哪些挑战？
大型语言模型在法律领域面临序列长度、专业词汇和数据不平衡等挑战。
大型语言模型的性能与微调的小型法律模型相比如何？
大型语言模型的性能低于经过微调的小型法律模型，微 F1 / 宏 F1 性能低19.2/26.8%。
在税法应用中，大型语言模型的表现如何？
大型语言模型在税法应用中的表现有限，尽管少量提示可以提高性能，但仍无法与专业税务律师相媲美。
微调对大型语言模型在法律任务中的表现有何影响？
微调可以显著提高大型语言模型在法律相关任务中的表现，强调领域专业知识的重要性。
信息检索系统在法律领域的表现如何？
在某些情况下，信息检索系统的表现超过了大型语言模型，提示LLMs的角色可能变得多余。
如何在大型语言模型的训练中注入领域知识？
可以通过在持续训练中注入领域知识和设计正确的监督微调任务来提高模型的可靠性和准确性。
