手术V2：通过深度表示手术架起模型合并与多任务学习之间的桥梁

本研究针对模型合并的多任务学习中存在的“表示偏差”问题，提出了一种名为“手术”的轻量级任务特定模块，旨在对齐合并模型与专家模型的最终层表示，从而改善性能。然而，由于偏差在每一层的积累，仅对最后一层进行对齐仍不足以消除系统性偏差，因此我们进一步提出了深度表示手术（手术V2）解决方案，旨在跨越所有层面减少偏差，从而缩小模型合并多任务学习与传统多任务学习之间的性能差距。我们的实验结果表明，采用这些...