通过神经架构搜索实现准确可靠架构
内容提要
本研究提出了一种名为Robust Neural Architecture Search的新型神经架构搜索方法，通过正则化项平衡准确性与鲁棒性，并使用噪声样本进行架构搜索。实验证明，该方法在图像分类和对抗攻击中表现优异，尤其在小规模数据集上展现出更好的鲁棒性。此外，研究建立了干净准确度与鲁棒准确度的泛化理论，推动了鲁棒架构的探索与发展。
延伸解读
鲁棒性搜索的规模依赖
文章指出，基于NAS的架构在小规模数据集和简单任务上鲁棒性更好，而传统手工设计架构在大规模数据集或复杂任务上表现更佳。这一发现提示读者，选择架构搜索策略时需考虑数据规模与任务复杂度，并非所有场景都适合NAS。
噪声样本替代对抗样本
该方法使用噪声样本而非对抗样本进行架构搜索，这降低了搜索过程中对抗训练的计算开销。但文章未说明噪声样本与对抗样本在鲁棒性上的等价性，读者需注意其适用边界，可能在某些攻击下效果有限。
泛化理论提供保证
研究利用神经切线核（NTK）工具，建立了干净准确度与鲁棒准确度下搜索架构的泛化理论，适用于多目标对抗训练。这为鲁棒架构搜索提供了理论依据，但理论假设与实际深度网络的差距仍需进一步验证。
基准数据集与可复现性
文章发布了基于NAS-Bench-201搜索空间的综合数据集，包含对抗训练网络的干净准确度和鲁棒准确度。这有助于可靠复现和高效评估，但数据集仅覆盖特定搜索空间和图像数据集，推广到其他任务时需谨慎。
Q&A
Robust Neural Architecture Search方法的主要特点是什么？
该方法通过正则化项平衡准确性与鲁棒性，并使用噪声样本进行架构搜索。
该研究在小规模数据集上的表现如何？
研究发现，基于NAS的架构在小规模数据集上具有更好的鲁棒性。
Robust Neural Architecture Search如何评估网络架构的鲁棒性？
通过对抗攻击作为函数评估，搜索出具有内在准确性和鲁棒性的网络架构。
该研究对NAS社区的影响是什么？
研究的基准和理论见解将对NAS社区产生重大影响，特别是在追求鲁棒架构方面。
传统手工设计的架构在大规模数据集上表现如何？
传统手工设计的架构在大规模数据集上表现更佳。
研究建立了什么样的泛化理论？
研究建立了干净准确度与鲁棒准确度的泛化理论，适用于多目标对抗训练。
