BriefGPT - AI 论文速递
·
线性模态连接性的基于置换的权重匹配分析
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
研究人员发现使用权重匹配（WM）可以有效地识别符合线性模态连通性（LMC）的排列，并通过实验和理论表明，WM找到的排列并没有明显减小两个模型之间的$L_2$距离。研究人员还提供了理论见解，表明排列可以改变每层权重矩阵奇异向量的方向，但不会改变奇异值。最后，研究人员分析了WM和依赖于数据集的直通估计器（STE）之间的差异，并表明WM在合并三个或更多模型时表现更好。
🎯
关键要点
- 研究人员发现使用权重匹配（WM）可以有效识别符合线性模态连通性（LMC）的排列。
- WM找到的排列并没有明显减小两个模型之间的$L_2$距离。
- LMC的发生并不仅仅是由于WM本身的距离缩小。
- 排列可以改变每层权重矩阵奇异向量的方向，但不会改变奇异值。
- WM找到的排列主要是使得与大奇异值相关的奇异向量在模型之间更加接近。
- 这种对齐使得后合并模型在功能上与前合并模型保持相似，从而容易满足LMC。
- WM在合并三个或更多模型时表现更好，优于依赖于数据集的直通估计器（STE）。
➡️
