Yi's blog
·
解决简街的“掉落的神经网络”难题
内容提要
简街2026年1月的难题“掉落的神经网络”要求将97个散落的神经网络组件重新组合，解决方案包括配对和排序。通过Gumbel-Sinkhorn框架实现可微分排列学习，最终均方误差降至0。配对修正能有效触发排序改进，插入操作优于交换。
关键要点
-
简街2026年1月的难题是将97个散落的神经网络组件重新组合。
-
问题涉及两个子问题：配对和排序。
-
搜索空间巨大，约为48! × 48!。
-
第一阶段使用线性结构和匈牙利算法，均方误差降至约0.7。
-
第二阶段采用Gumbel-Sinkhorn框架进行可微分排列学习，均方误差降至约0.03。
-
交替优化方法有效，因为配对和排序子问题部分解耦。
-
第三阶段尝试局部搜索策略，但未能突破均方误差约0.03的局限。
-
第四阶段提出两种不同的方法均可将均方误差降至0。
-
方法A是结合2-opt，同时改变顺序和配对，取得显著改进。
-
方法B是交替循环插入，持续寻找改进，最终达到均方误差为0。
-
插入操作比交换更有效，能够找到更精细的改进。
-
错误分析显示，错误集中在少数极端行上，表明存在特定的错误配置。
-
完整流程包括多个阶段，最终实现均方误差为0的解决方案。
-
学习到的教训包括可微分松弛的强大、配对修正的重要性和插入操作的有效性。
-
尝试的其他方法如模拟退火和贪婪构建未能取得成功，主要瓶颈在于配对而非排序。
延伸问答
简街的“掉落的神经网络”难题的主要内容是什么？
该难题要求将97个散落的神经网络组件重新组合，解决方案包括配对和排序。
解决该难题的第一阶段使用了什么方法？
第一阶段使用线性结构和匈牙利算法，均方误差降至约0.7。
Gumbel-Sinkhorn框架在解决过程中起到了什么作用？
Gumbel-Sinkhorn框架实现了可微分排列学习，将均方误差降至约0.03。
在解决过程中，为什么插入操作比交换操作更有效？
插入操作能够找到更精细的改进，因为它可以滑动一个元素到新位置，影响整个序列。
最终实现均方误差为0的两种方法是什么？
方法A是结合2-opt，同时改变顺序和配对；方法B是交替循环插入，持续寻找改进。
在解决过程中遇到的主要瓶颈是什么？
主要瓶颈在于配对而非排序，错误集中在少数极端行上。
