AZ-NAS:构建零成本代理以进行网络架构搜索
AZ-NAS 是一种新方法,它利用多种零成本代理的集成,显著增强了网络预测排名与性能的真实排名之间的相关性,并引入了一种非线性排名聚合方法,同时在保持合理运行时间成本的基础上,在标准基准测试中优于现有方法。
提出了Parametric Zero-Cost Proxies (ParZC)框架,通过参数化增强零成本代理的适应性,并使用DiffKendall作为损失函数优化Kendall's Tau系数,以更好地处理架构排名中的差异。实验证明了ParZC相对于现有的零成本NAS方法的优越性,并展示了其在Vision Transformer搜索空间的多功能性和适应性。