DLP-LoRA: A Dynamic Lightweight Plugin for Efficient Task-Specific LoRA Integration in Large Language Models
原文英文,约100词,阅读约需1分钟。发表于: 。本研究解决了大型语言模型(LLMs)在特定领域微调时高资源消耗的问题,提出了一种动态轻量级插件DLP-LoRA,通过使用仅5M参数的小型MLP模块,在句子层面动态融合多个LoRA,提高了推理效率。实验结果显示,DLP-LoRA在多个任务上表现优异,平均准确率达92.34%,并在问答数据集上显著提高了BLEU和ROUGE分数,展现出高效的多任务适应能力。
本研究提出了一种动态轻量级插件DLP-LoRA,旨在解决大型语言模型在特定领域微调时的高资源消耗问题。通过使用仅5M参数的小型MLP模块,DLP-LoRA在句子层面动态融合多个LoRA,提高推理效率。实验结果显示,该方法在多个任务中表现优异,平均准确率达92.34%,并在问答数据集上显著提升BLEU和ROUGE分数,展现出高效的多任务适应能力。