本研究探讨了模型合并技术,提出了Fisher合并和TrIm方法,以解决不同模型参数干扰的问题。研究表明,模型合并能显著提高准确性,并分析了权重匹配的应用。自适应随机权重平均技术也能提升泛化性能。整体而言,模型合并在多个机器学习领域具有广泛应用潜力,但仍面临挑战。
研究人员发现使用权重匹配(WM)可以有效地识别符合线性模态连通性(LMC)的排列,并通过实验和理论表明,WM找到的排列并没有明显减小两个模型之间的$L_2$距离。研究人员还提供了理论见解,表明排列可以改变每层权重矩阵奇异向量的方向,但不会改变奇异值。最后,研究人员分析了WM和依赖于数据集的直通估计器(STE)之间的差异,并表明WM在合并三个或更多模型时表现更好。
完成下面两步后,将自动完成登录并继续当前操作。