结合神经架构搜索与自动代码优化：综述
内容提要
该研究提出了一种新颖的硬件和软件协同框架，用于高效的神经架构搜索，旨在优化神经架构和硬件配置以提高精度和效率。通过强化学习，该方法在ImageNet数据集上实现了更高的吞吐量和节能效果，并提出了SONATA自适应进化算法，显著提升了精度和性能。
延伸解读
硬件感知NAS的演进脉络
文章梳理了硬件感知神经架构搜索（HW-NAS）从2019年至2024年的关键进展。早期工作如2019年7月的协同探索框架，通过强化学习同时优化架构与硬件配置；随后HotNAS利用预训练模型将搜索时间从200 GPU小时缩短至3 GPU小时以内；2021年HW-NAS-Bench数据集的提出降低了研究门槛；2024年的SONATA则引入自适应进化算法，在ImageNet-1k上实现精度提升0.25%、延迟和能源性能提升2.42倍。这些节点反映了该领域从效率优化到多目标平衡的演进趋势。
SONATA的核心创新与量化收益
SONATA是文章重点介绍的硬件感知NAS自适应进化算法。它利用基于树的代理模型和强化学习代理，学习神经网络设计参数的重要性，从而指导进化算子何时以及如何演化架构。在ImageNet-1k数据集上，SONATA相比基线精度提高0.25%，延迟和能源性能提升2.42倍；与本地NSGA-II相比，在Pareto支配上达到93.6%的优势。这些数据表明，自适应进化算子能有效利用搜索过程中产生的大量评估数据，改进优化策略并逼近帕累托前沿。
多目标优化与硬件成本估计的挑战
文章指出，硬件感知NAS通常需要同时优化多个目标，如最大化精度、最小化延迟和能耗。2024年4月提出的MO-HDNAS方法通过优化三个目标（最大化表示相似度、最小化硬件成本、最大化硬件成本多样性），在单次运行中以低计算成本识别一组权衡架构。然而，神经网络设计参数与硬件感知优化目标之间的复杂关系仍未充分研究，且搜索过程中产生的大量评估数据尚未被有效利用来指导搜索。这些挑战是未来研究的重要方向。
Q&A
什么是硬件感知神经架构搜索（HW-NAS）？
硬件感知神经架构搜索（HW-NAS）是一种自动化设计神经网络的方法，旨在优化神经网络架构以适应特定硬件配置，从而提高性能和效率。
SONATA自适应进化算法的主要优势是什么？
SONATA自适应进化算法在ImageNet数据集上提高了0.25%的精确度，并且在延迟和能源性能上提高了2.42倍，显示了其在硬件感知NAS中的有效性。
该研究如何提高神经架构搜索的效率？
该研究通过强化学习控制器和自适应进化算法，优化了神经架构和硬件配置，从而提高了搜索效率和节能效果。
与传统方法相比，SONATA在性能上有什么显著改进？
SONATA在与本地NSGA-II的比较中达到了93.6%的Pareto支配优势，显示出其在性能优化方面的显著改进。
该框架在ImageNet数据集上的表现如何？
该框架在ImageNet数据集上实现了更高的吞吐量和节能效果，显示出其在实际应用中的有效性。
该研究提出的框架有哪些核心目标？
该框架的核心目标是同时优化神经架构和硬件配置，以实现最大测试精度和硬件效率。
