有效且参数优化的复用微调模型

该文提出了一种名为 PERU 的参数高效重用方法，适用于使用多个经过精调的特定任务模型。该方法通过稀疏任务向量注入到合并模型中，通过截断幅值来创造 PERU-FFT，以重用完全精调的模型。同时，该方法还提出了使用低秩矩阵重用 LoRA 精调模型的 PERU-LoRA。实验证明，提出的 PERU-FFT 和 PERU-LoRA 取得了明显优势，并且在性能上与每个任务使用精调模型相当。