可植入自适应细胞：可微架构搜索以提升任何经过训练的 U 型网络的性能
内容提要
本文介绍了一种自适应通道分配的可微分架构搜索方法（ACA-DARTS），通过优化跳跃连接提高了搜索的稳定性和准确性。同时，提出了P-DARTS算法，解决了迁移学习问题，并在多个数据集上取得了优异表现。此外，改进的Cyclic DARTS（ICDARTS）增强了模型的稳定性和泛化能力，探索了新的搜索空间方法。
延伸解读
DARTS 的性能瓶颈与改进方向
文章指出 DARTS 存在性能崩溃问题，根源在于权值共享框架和极限收敛点限制了最优结构的选择。此外，NAS 算法倾向于选择宽而浅的单元结构，虽收敛快但泛化性能不一定更优。这些发现提示读者，原始 DARTS 的搜索稳定性与泛化能力存在固有缺陷，后续改进如 ACA-DARTS、ICDARTS 等正是针对这些痛点展开。
跳跃连接在搜索中的作用与处理
ACA-DARTS 通过从运算空间中删除跳跃连接，并在评估阶段自动重新填充，以解决因缺乏跳跃连接导致的性能降级。这一设计表明，跳跃连接在 DARTS 搜索中具有双重性：过度保留可能引发性能崩溃，完全移除又可能损害模型表现。因此，如何动态平衡跳跃连接成为提升搜索稳定性和准确性的关键。
迁移学习与搜索效率的协同优化
P-DARTS 针对迁移学习问题，在 CIFAR10 和 ImageNet 等数据集上取得更好性能；Z0-DARTS+ 则通过稀疏概率生成方法，在匹配先进准确率的同时将搜索时间缩短三倍。这些工作显示，架构搜索不仅追求精度，还需兼顾跨数据集迁移能力和计算效率，读者可关注不同方法在效率与精度间的权衡策略。
Q&A
ACA-DARTS方法的主要优势是什么？
ACA-DARTS通过删除跳跃连接提高了搜索的稳定性和准确性，并显著加速了DARTS的搜索过程。
P-DARTS算法是如何解决迁移学习问题的？
P-DARTS算法通过优化神经网络架构搜索，提升了在多个数据集上的性能表现，特别是在CIFAR10和ImageNet上。
ICDARTS相较于传统DARTS有哪些改进？
ICDARTS通过消除评估网络权重对搜索网络权重的依赖，增强了模型的稳定性和泛化能力。
自适应通道分配的可微分架构搜索方法的核心思想是什么？
该方法通过自动重新填充评估阶段的跳跃连接，解决了缺乏跳跃连接导致的性能下降问题。
在哪些数据集上P-DARTS表现优异？
P-DARTS在CIFAR10、ImageNet、COCO检测和多个ReID基准上表现优异。
如何提高DARTS的搜索效率？
通过采用更全局的优化方案和探索新的搜索空间方法，可以提高DARTS的搜索效率。
