AZ-NAS：构建零成本代理以进行网络架构搜索
内容提要
本文探讨了神经网络模型设计中的计算问题，提出了零成本代理以提高搜索效率和降低计算成本。研究表明，该方法在多个基准测试中表现优越，能够有效预测模型的鲁棒性，并加速神经架构搜索。
延伸解读
零成本代理的演进脉络
文章梳理了从2020年到2024年零成本代理在神经架构搜索中的发展。早期工作关注代理的排名稳定性，提出可靠代理策略，将搜索时间缩减400倍。随后研究转向鲁棒性预测，发现单一代理难以预测模型鲁棒性，需联合多个代理。2024年的ParZC框架通过参数化增强适应性，并引入DiffKendall损失函数优化架构排名，在多个基准上超越现有方法。
鲁棒性预测的挑战与对策
文章指出，在NAS-Bench-201中，零成本代理预测模型鲁棒性比预测准确率更具挑战性，需要联合考虑多个代理。为此，有研究提出轻量级鲁棒性零成本代理，考虑初始化状态下干净和扰动图像的特征、参数和梯度一致性，从而高效搜索出在多种扰动下鲁棒的神经结构，显著优于基于清晰或注入的NAS方法。
加速搜索的实用框架
ProxyBO利用零成本代理加速贝叶斯优化，通过新颖获取函数结合动态影响的代理，并估计代理适应性，在三个基准的五个任务上超越REA和BRP-NAS，实现5.41倍和3.86倍加速。此外，NAS-Bench-Suite整合13个零成本代理模型，为更快实验和更好预测性能提供支持。这些工具降低了NAS的计算门槛。
硬件感知与多功能性
文章回顾了零样本NAS方法的硬件感知能力，比较了主流零样本代理在硬件感知和硬件无关场景中的有效性。ParZC不仅适用于传统搜索空间，还成功应用于Vision Transformer搜索空间，展示了其多功能性和适应性。ProxylessNAS则能直接在目标任务和硬件平台上学习结构，提供硬件性能定制化，在CIFAR-10和ImageNet上超越先前最优架构。
Q&A
什么是零成本代理，它的主要作用是什么？
零成本代理是一种用于提高神经架构搜索效率和降低计算成本的方法，能够有效预测模型的鲁棒性。
ParZC框架的主要特点是什么？
ParZC框架通过参数化增强零成本代理的适应性，并使用DiffKendall作为损失函数来优化架构排名中的差异。
ProxyBO框架如何加速神经架构搜索？
ProxyBO利用零成本代理和新颖的获取函数，通过动态影响来加速神经架构搜索，显著提高了搜索效率。
零成本代理在NAS-Bench-201中的应用效果如何？
在NAS-Bench-201中，零成本代理作为鲁棒性性能预测器表现出色，但需要联合多个代理来提高预测准确性。
ProxylessNAS方法的优势是什么？
ProxylessNAS能够在大规模目标任务和硬件平台上直接学习网络结构，显著缩减计算成本并优化硬件性能。
如何评估零成本代理的性能？
零成本代理的性能可以通过与训练集准确度相关的度量标准epsilon进行评估，省去计算负载和人工标注数据的依赖。
