TransformLLM：通过LLM转换阅读理解文本调整大语言模型
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了现有大型语言模型在法律领域应用中的准确性和成本问题。通过对法律文本进行持续预训练，开发了Phi-2-Legal和Mistral-Legal-7B两种专门针对法律的语言模型，这些模型在法律基准测试中表现优异，显示出领域自适应预训练的重要性与潜力。
我们研究了在特定领域语料库上进行预训练的方法，发现原始语料库虽然提供领域知识，但会损害问题回答能力。我们提出了一种将原始文本转化为阅读理解文本的方法，适用于生物医学、金融和法律等领域，从而提升模型性能。我们的7B语言模型与大型专门模型相媲美，并能提高通用基准性能，展示了开发通用模型的潜力。
