多目标领域自适应的无需训练模型合并
原文中文,约300字,阅读约需1分钟。发表于: 。我们研究场景理解模型的多目标领域适应问题,提出了合并模型参数和合并模型缓冲区的方法,通过使用相同的预训练骨干权重适应独立训练的模型的线性合并和通过模拟现实分布从分别训练的模型的缓冲区估计新统计量,我们的方法简单而有效,实现了与数据组合训练基准相当的性能,同时消除了访问训练数据的需求。
本文提出了一种数据无关的知识融合方法,通过合并模型并引导最小化预测差异的权重,将不同训练数据集上的个别模型合并为一个模型,以在所有数据集领域都表现良好并可以推广到域外数据。该方法在电池评估中明显优于基线方法,并且是一种有前途的替代多任务学习的方法,可以在不访问训练数据的情况下保留或提高个别模型的性能。模型合并比训练多任务模型更高效,适用于更广泛的情况。