线性模态连接性的基于置换的权重匹配分析

BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

研究人员发现使用权重匹配（WM）可以有效地识别符合线性模态连通性（LMC）的排列，并通过实验和理论表明，WM找到的排列并没有明显减小两个模型之间的$L_2$距离。研究人员还提供了理论见解，表明排列可以改变每层权重矩阵奇异向量的方向，但不会改变奇异值。最后，研究人员分析了WM和依赖于数据集的直通估计器（STE）之间的差异，并表明WM在合并三个或更多模型时表现更好。