优化和微调大型语言模型用于城市更新
原文中文，约400字，阅读约需1分钟。发表于：。通过在城市更新领域中自动产生问答数据集，并使用 Prefix 和 LoRA 的联合微调方法对模型进行联合微调训练，本研究提出的联合微调训练方法能够显著提高 LLM 在知识问答任务上的性能，相比 LoRA 微调，该方法使测试中的 Bleu 和 Rouge 指标提高了约 5%；相比微调前的模型，该方法使 Bleu 和 Rouge 指标提高了约 15%...
本研究通过自动生成问答数据集并使用联合微调方法提高了LLM在知识问答任务上的性能。与LoRA微调相比，该方法使测试中的Bleu和Rouge指标提高了约5%，与微调前的模型相比，提高了约15%-20%。研究证明了使用Prefix和LoRA的联合微调方法对ChatGLM的有效性和优越性，为LLM在城市更新任务上的微调提供了新方法。
