针对长尾数据集的神经架构搜索的异构学习率调度
内容提要
本研究针对 DARTS 算法的性能崩溃问题，提出了 P-DARTS、sharpDARTS 和 SmoothDARTS 等优化方案，以提高神经网络架构搜索的性能和稳定性。通过正则化方法如 Beta-Decay 和 RC-DARTS，研究表明这些方法能有效提升模型的可迁移性和搜索稳定性，从而实现更优的分类准确性。
延伸解读
DARTS性能崩溃的根源与正则化对策
文章指出，DARTS算法存在性能崩溃的脆弱性，其权值共享框架和极限收敛点限制了模型最优结构的选择，导致性能严重下降。为此，研究者提出了多种正则化方法，如Beta-Decay通过约束搜索过程提升可迁移性，SmoothDARTS利用扰动正则化稳定搜索，RC-DARTS则在资源限制下实现与最先进方法相当的性能。这些方案从不同角度缓解了DARTS的固有缺陷。
从CIFAR-10到ImageNet：迁移能力的提升
针对DARTS在迁移学习中的不足，P-DARTS算法在CIFAR10及ImageNet分类、COCO检测和三个ReID基准上实现了更好性能。sharpDARTS在CIFAR-10上取得1.93%的验证误差和25.1%的ImageNet top-1误差，并设计了Max-W正则化以解决新领域泛化问题。这些进展表明，改进后的方法能有效提升搜索架构的跨数据集可迁移性。
搜索稳定性与理论保障的进展
多项研究致力于提升DARTS的搜索稳定性。SmoothDARTS通过数学证明表明其能隐式规范化验证损失的Hessian范数，实现更平滑的损失和更好性能。iDARTS方法理论上表明架构优化预期收敛于稳态点，并减少了计算需求。这些工作不仅实验上领先基线，还从理论层面解释了稳定性的来源，为后续研究提供了依据。
Q&A
P-DARTS算法的主要贡献是什么？
P-DARTS算法解决了神经网络架构搜索中的迁移学习问题，并在CIFAR10等数据集上提升了性能。
sharpDARTS在CIFAR-10数据集上的表现如何？
sharpDARTS在CIFAR-10数据集上取得了20-30%的相对错误率进展，验证误差为1.93%。
SmoothDARTS是如何提高模型稳定性的？
SmoothDARTS通过扰动正则化方法，随机平滑或对抗攻击来提高模型的稳定性和性能。
Beta-Decay正则化方法的作用是什么？
Beta-Decay正则化方法约束DARTS的搜索过程，解决性能崩溃和结构普适性问题。
RC-DARTS方法在资源限制下的表现如何？
RC-DARTS在资源限制下实现了与最先进方法相当的性能，经过CIFAR10和ImageNet验证。
DARTS算法的权值共享框架有什么问题？
DARTS算法的权值共享框架限制了模型的最优结构选择，导致性能下降。
