BLADE：用小型领域专属模型增强黑盒大型语言模型
内容提要
近期，自然语言处理（NLP）在法律领域面临挑战，但大型语言模型（LLMs）提供了新机遇。研究比较了通用LLMs与领域特定模型在法律合同分类中的表现，发现通用模型性能较低，强调了需要更强大的法律领域LLMs。提出通过领域知识增强LLMs的方法，实验显示能显著提高模型在特定领域的表现。
延伸解读
通用LLM在法律合同分类中的表现差距
文章通过对比三个通用LLM（ChatGPT-20b、LLaMA-2-70b、Falcon-180b）与经过法律领域微调的较小模型在LexGLUE基准上的零样本性能，发现通用LLM的微F1/宏F1指标分别低19.2%和26.8%。这表明尽管通用LLM在多数情况下能正确分类合同条款主题，但其性能仍显著落后于领域专用模型，凸显了法律领域需要更强大的专用LLM。
领域知识增强LLM的可行路径
文章提出了多种通过领域知识增强LLM的方法，如DOKE（通过域知识提取器整合知识）、GLaM（将知识图谱转化为问答对进行微调）以及使用医学文本书籍作为检索语料库等。这些方法在实验中均能显著提高LLM在特定领域（如法律、医学）的性能，表明注入结构化领域知识是提升LLM专业能力的关键方向。
领域特定问答任务中的挑战与方向
文章指出，在领域特定问答任务中使用LLM面临挑战，包括专业词汇理解、数据不平衡等。研究建议了潜在的研究方向，如开发更高效的专门应用模型、结合检索增强生成、以及利用生成式数据增强改善小模型性能（如Dr. LLaMA）。这些方向旨在平衡模型规模与领域专业性，推动LLM在垂直领域的实际应用。
Q&A
大型语言模型在法律领域的应用面临哪些挑战？
大型语言模型在法律领域面临极长的序列长度、专业词汇和数据不平衡等挑战。
通用大型语言模型在法律合同分类中的表现如何？
通用大型语言模型在法律合同分类中的微F1和宏F1性能比经过法律领域微调的模型低19.2%和26.8%。
如何通过领域知识增强大型语言模型的性能？
可以通过域特定知识增强LLMs的方法（DOKE），将提取的知识以LLM可理解的方式整合到模型中，从而显著提高性能。
GLaM微调框架的主要功能是什么？
GLaM微调框架将知识图形转化为具有标签的问题-答案对的替代文本表示，增强了模型的结构化推理能力。
DOKE方法在实际应用中有什么效果？
DOKE方法通过域知识提取器显著提高了LLMs在特定领域中的性能。
在法律实践中，当前大型语言模型的可靠性如何？
当前的LLMs在法律实践中的可靠性受到质疑，因为它们在律师所需的基本文本处理方面表现不佳。
