集成硬件架构与设备位置搜索
内容提要
本研究探讨了协同设计神经网络架构与硬件加速器的重要性，发现联合搜索方法在延迟目标上优于传统方法，显著降低边缘加速器的能耗。提出了一种新的贝叶斯优化框架，自动识别优化点，改善能量延迟性能，并通过量化和成本限制优化边缘平台的系统设计。
延伸解读
协同设计为何关键
文章指出，神经网络架构与硬件加速器的协同设计能带来显著收益。不同使用场景会导致不同的搜索结果，说明没有通用的最优方案。联合搜索方法在延迟目标上始终优于面向平台的神经架构搜索、手动设计模型以及EfficientNet，并能将边缘加速器的能耗降低高达2倍。这提示读者，针对特定硬件定制模型架构比直接套用通用模型更有效。
贝叶斯优化框架的价值
文章提出一种基于硬件/软件协同设计的约束贝叶斯优化框架，可自动识别联合设计空间中的优化点，并应用于多种神经模型以改善能量延迟产品性能。相比人工调参，这种自动化方法能更高效地探索庞大设计空间，尤其适合资源受限的边缘设备。读者可关注该框架如何平衡搜索成本与优化效果。
边缘部署的约束与权衡
文章强调，边缘平台设计需综合考虑量化、成本限制等因素，以在广泛智能设备上最优部署模型。例如，有方法能在单次搜索中同时降低内存和延迟分别达87.4%和54.2%，并保证精度不劣于手动调优网络。这表明实际部署时，需在精度、延迟、内存和成本之间做多目标权衡，而非单一追求某一指标。
设备放置与调度优化
文章介绍了使用序列到序列模型预测TensorFlow计算图中操作应运行在哪些设备上，并以执行时间作为奖励信号优化模型参数，在图像分类和语言任务中发现了优于手动设置和传统算法的放置方案。此外，COSMA框架能为专用加速器找到最佳操作调度和内存分配，将复杂DNN的数据访问降低85%以上。这些技术有助于提升异构边缘系统的执行效率。
Q&A
联合搜索方法如何改善边缘加速器的能耗？
联合搜索方法能够将边缘加速器的能耗降低高达2倍，优于传统方法。
贝叶斯优化框架在系统设计中有什么作用？
贝叶斯优化框架能够自动识别优化点，改善能量延迟性能，适用于各种神经模型。
如何通过量化和成本限制优化边缘平台的设计？
通过综合考虑量化和成本限制等因素，可以在边缘平台上优化系统设计，以适应广泛的智能设备。
COSMA优化框架的主要功能是什么？
COSMA优化框架能够在专用硬件加速器上找到最佳操作调度和内存分配，减少数据访问。
如何使用序列到序列模型优化TensorFlow计算图的设备放置？
使用序列到序列模型预测TensorFlow计算图中操作的设备放置，并优化执行时间。
机器学习模型中架构和超参数调节的平衡方法是什么？
通过贝叶斯优化方法探索架构和超参数调节与准确性和延迟之间的平衡。
