LLaMandement：用于法国立法提案摘要的大型语言模型
内容提要
本文综述大语言模型在多个领域的应用研究：通过持续训练注入领域知识、设计监督微调任务提升实际表现；人类评估表明指令微调而非模型规模是零样本摘要能力关键；探讨法律、会议摘要、政治情感分析等场景，发现开源小模型如LLaMA-2可媲美闭源大模型，兼顾成本与隐私；介绍MindLLM、DictaLM等轻量级多语言模型及领域基准，强调领域预训练与微调对性能提升的重要性。
延伸解读
指令微调比模型规模更关键
文章通过人类评估发现，指令微调而非模型规模是LLM零样本摘要能力的关键。这意味着在实际应用中，优化微调任务设计可能比单纯扩大模型参数更有效。对于资源有限的团队，这提供了以较低成本提升摘要质量的路径，也解释了为何小模型经指令微调后能媲美大模型。
开源小模型在工业应用中的优势
会议摘要系统研究表明，LLaMA-2等开源小模型在零样本情况下可达到与大型闭源模型相当的性能。考虑到闭源模型的隐私风险和高昂微调成本，开源模型更适合工业部署。文章特别指出LLaMA-2-7B在性能、成本和隐私间取得平衡，为实际业务提供了实用选择。
法律领域LLM的局限与改进方向
在LexGLUE基准测试中，通用LLM（如ChatGPT-20b、LLaMA-2-70b）零样本分类性能比法律领域微调的较小模型低19.2/26.8%。这表明法律领域需要更强大的专用LLM。文章还提到法律NLP面临长序列、专业词汇和数据不平衡等挑战，凸显领域预训练和微调的必要性。
领域预训练提升多语言政治情感分析
针对欧洲议会记录，研究对LLM进行1.72亿专业领域词汇的额外预训练，显著提高了情感检测等任务性能。多语言模型在未知语言上表现良好，且其他语言数据能提升目标议会结果。这为政治文本分析提供了更可靠的方法，使学者能用标准化工具进行跨语言比较研究。
Q&A
在持续训练中如何注入领域知识并设计监督微调任务来提升模型解决实际问题的能力？
本文研究了在持续训练过程中注入领域知识以及设计正确的监督微调任务的方法。在加入检索模块并提取相关文献的情况下，模型可以更可靠地生成答案。
LLM的零样本摘要能力主要取决于指令微调还是模型规模？
通过对十种不同预训练方法、提示和模型规模的大型语言模型进行人类评估，发现指令微调而非模型规模是LLM零样本摘要能力的关键。从自由职业作家收集的高质量摘要进行人类评估，得出LLM摘要被认为与人类撰写的摘要相媲美的结论。
在会议摘要系统中，开源模型如LLaMA-2与闭源模型相比表现如何？
研究评估和比较了各种闭源和开源大型语言模型在会议摘要系统中的表现。结果表明，大多数闭源模型性能更好，但即使在零样本情况下，较小的开源模型如LLaMA-2（7B和13B）仍可达到与大型闭源模型相当的性能。综合考虑隐私问题和高成本，开源模型更适合工业应用，其中LLaMA-2-7B模型在性能、成本和隐私之间取得平衡，更具前景。
通用LLM在法律领域的零样本分类性能与领域特定微调模型相比有何差距？
研究比较了三个通用LLM（ChatGPT-20b、LLaMA-2-70b和Falcon-180b）在LexGLUE合同条款分类基准测试集上的零样本性能。尽管未经法律数据专门训练，它们在大多数情况下仍能正确分类主题，但微F1/宏F1性能比在法律领域微调的较小模型低19.2/26.8%，凸显了需要更强大的法律领域LLM。
MindLLM是什么？它有什么特点和应用？
MindLLM是一系列双语轻量级大型语言模型，通过从头开始训练以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发经验，介绍了适用于较小模型的创新指令调整框架，并探索了MindLLM在法律和金融等特定垂直领域的应用。
DictaLM是什么？它发布了哪些模型？
DictaLM是一个专为现代希伯来语设计的大规模语言模型，拥有70亿参数，主要基于希伯来语中心化的数据训练。为了促进希伯来语研究，以创作共用许可证发布了基础模型和指导调整模型。同时还推出了DictaLM-Rab，这是另一个面向拉比/历史希伯来语的基础模型。这些基础模型是针对各种希伯来语特定任务（如指导、问答、情感分析等）进行微调的理想起始点。
