本文介绍了一种新的多任务学习（MTL）模型的参数有效训练框架 MTLoRA，该框架通过使用任务无关和任务特定的低秩适应模块，在 MTL 微调中有效地解离参数空间，从而使模型能够熟练处理 MTL 环境中的任务专业化和交互，并且在 PASCAL 数据集上的广泛实验表明，MTLoRA 在减少可训练参数数量的同时，比对 MTL...

本文介绍了多种低秩适应方法（如IncreLoRA、LoRA、MultiLoRA、Delta-LoRA），旨在提高大型语言模型的参数效率和微调性能。这些方法通过自适应参数分配和张量分解，显著减少可训练参数，同时保持或提升模型性能，适用于低资源环境。实验结果显示，这些方法在多个基准测试中表现优异。