MTLoRA:一种用于高效多任务学习的低秩适应方法

📝

内容提要

本文介绍了一种新的多任务学习(MTL)模型的参数有效训练框架 MTLoRA,该框架通过使用任务无关和任务特定的低秩适应模块,在 MTL 微调中有效地解离参数空间,从而使模型能够熟练处理 MTL 环境中的任务专业化和交互,并且在 PASCAL 数据集上的广泛实验表明,MTLoRA 在减少可训练参数数量的同时,比对 MTL...

➡️

继续阅读