Yi's blog
·
解决简街的“掉落的神经网络”难题
💡
原文英文，约2900词，阅读约需11分钟。
📝
内容提要
简街2026年1月的难题“掉落的神经网络”要求将97个散落的神经网络组件重新组合，解决方案包括配对和排序。通过Gumbel-Sinkhorn框架实现可微分排列学习，最终均方误差降至0。配对修正能有效触发排序改进，插入操作优于交换。
🎯
关键要点
- 简街2026年1月的难题是将97个散落的神经网络组件重新组合。
- 问题涉及两个子问题：配对和排序。
- 搜索空间巨大，约为48! × 48!。
- 第一阶段使用线性结构和匈牙利算法，均方误差降至约0.7。
- 第二阶段采用Gumbel-Sinkhorn框架进行可微分排列学习，均方误差降至约0.03。
- 交替优化方法有效，因为配对和排序子问题部分解耦。
- 第三阶段尝试局部搜索策略，但未能突破均方误差约0.03的局限。
- 第四阶段提出两种不同的方法均可将均方误差降至0。
- 方法A是结合2-opt，同时改变顺序和配对，取得显著改进。
- 方法B是交替循环插入，持续寻找改进，最终达到均方误差为0。
- 插入操作比交换更有效，能够找到更精细的改进。
- 错误分析显示，错误集中在少数极端行上，表明存在特定的错误配置。
- 完整流程包括多个阶段，最终实现均方误差为0的解决方案。
- 学习到的教训包括可微分松弛的强大、配对修正的重要性和插入操作的有效性。
- 尝试的其他方法如模拟退火和贪婪构建未能取得成功，主要瓶颈在于配对而非排序。
🏷️
标签
➡️
