最近,Ainsworth等人发现使用权重匹配(WM)不能明显减小两个模型之间的距离,但可以使得与大奇异值相关的奇异向量在模型之间更加接近,从而满足线性模态连通性(LMC)。他们还发现WM在合并三个或更多模型时表现更好。
研究人员发现使用权重匹配(WM)可以有效地识别符合线性模态连通性(LMC)的排列,并通过实验和理论表明,WM找到的排列并没有明显减小两个模型之间的$L_2$距离。研究人员还提供了理论见解,表明排列可以改变每层权重矩阵奇异向量的方向,但不会改变奇异值。最后,研究人员分析了WM和依赖于数据集的直通估计器(STE)之间的差异,并表明WM在合并三个或更多模型时表现更好。
完成下面两步后,将自动完成登录并继续当前操作。