该文提出了一种名为 PERU 的参数高效重用方法,适用于使用多个经过精调的特定任务模型。该方法通过稀疏任务向量注入到合并模型中,通过截断幅值来创造 PERU-FFT,以重用完全精调的模型。同时,该方法还提出了使用低秩矩阵重用 LoRA 精调模型的 PERU-LoRA。实验证明,提出的 PERU-FFT 和 PERU-LoRA 取得了明显优势,并且在性能上与每个任务使用精调模型相当。
完成下面两步后,将自动完成登录并继续当前操作。