NASH：硬件优化机器学习模型的神经架构搜索
内容提要
该文综述硬件感知神经架构搜索（HW-NAS），涵盖搜索空间、策略、加速与硬件成本估计，并介绍FLASH、HW-NAS-Bench、PASHA、HotNAS、FNAS等框架，可在FPGA等平台协同优化精度与性能，缩短搜索时间并提升CIFAR等任务准确率。
延伸解读
硬件感知NAS的核心挑战
硬件感知神经架构搜索（HW-NAS）旨在为资源受限平台（如IoT、移动和嵌入式系统）自动设计高效神经网络。其核心挑战在于同时优化模型精度和硬件性能（如延迟、能耗），这需要多目标优化算法。文章指出，HW-NAS需要大量计算资源和硬件设备，但通过专用方法（如HW-NAS-Bench数据集）可降低门槛，使不熟悉硬件的研究者也能参与。
加速搜索的关键技术
为缩短搜索时间，研究者提出了多种加速技术。FLASH在真实硬件上协同优化，比现有方法加速超过四个数量级，嵌入式设备上搜索时间不到3秒。HotNAS从预训练模型库启动搜索，将搜索时间从200 GPU小时缩短到不到3 GPU小时。PASHA通过动态分配资源，比ASHA消耗更少计算资源。这些方法显著提升了HW-NAS的实用性。
实际性能提升案例
HW-NAS在多个任务上展示了性能提升。例如，某框架在CIFAR10上提高了18%至68%的准确性；HotNAS在ImageNet和Xilinx FPGA上，在5ms约束下，Top-1和Top-5精度比现有架构分别提高高达5.79%和3.97%；另一研究在CIFAR-100上比ResNet准确率提高1.3%，性能/面积比提高41%。这些结果证明了硬件与神经网络协同优化的有效性。
Q&A
什么是硬件感知神经架构搜索（HW-NAS）？
硬件感知神经架构搜索（HW-NAS）是一种在资源受限平台上（如IoT、移动和嵌入式系统）自动设计神经网络架构的方法，它同时考虑硬件性能（如延迟、能耗）和模型精度，通过多目标优化算法来寻找最优架构。
HW-NAS常用的搜索策略和加速技术有哪些？
HW-NAS采用多目标优化算法来解决神经架构复杂导致的部署困难问题，并利用加速技术如性能抽象模型进行快速剪枝，以及硬件成本估计策略来评估架构在目标硬件上的表现。
FLASH方法在神经架构搜索中有什么优势？
FLASH是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化DNN的准确性和性能，比现有最先进方法有超过四个数量级的加速，在嵌入式设备上搜索时间不到3秒。
HW-NAS-Bench数据集的作用是什么？
HW-NAS-Bench是一个包含网络搜索空间中所有网络硬件性能表现的数据集，它让硬件不熟悉的研究者也能参与HW-NAS研究，并证明针对特定设备进行HW-NAS可以实现最佳的准确性-成本平衡。
HotNAS如何缩短神经架构搜索时间？
HotNAS通过从现有的预训练模型（模型库）开始，以“热”状态启动搜索过程，避免了漫长的训练时间，将搜索时间从200 GPU小时缩短为不到3 GPU小时。它集成了硬件设计空间、神经架构搜索空间和压缩空间，通过模型压缩减少延迟。
FNAS框架在硬件感知神经架构搜索中有什么特点？
FNAS是一种硬件感知的神经架构搜索框架，使用FPGA作为平台，通过性能抽象模型对神经架构进行快速剪枝，以保证满足实现规范的延迟，并在精度下降少于1%的情况下快速搜索到有效架构。
