CE-NAS: 一个端到端的高效碳排放神经架构搜索框架
💡
原文中文,约600字,阅读约需2分钟。
📝
内容提要
该论文提出了一种新颖的神经架构搜索(NAS)方法,通过探索不同NAS算法的碳排放变化和能量差异来解决与NAS相关的高碳成本的关键挑战。CE-NAS利用增强学习代理动态调整GPU资源,以平衡高能效采样和高能耗评估任务。CE-NAS还利用多目标优化器减少了NAS的搜索空间。实验结果表明,CE-NAS在降低碳排放的同时,在NAS数据集和开放域NAS任务上取得了有效的结果。
🎯
关键要点
-
该论文提出了一种新颖的神经架构搜索(NAS)方法,旨在增加模型设计过程的碳效率。
-
CE-NAS框架通过探索不同NAS算法的碳排放变化和能量差异来解决高碳成本的关键挑战。
-
CE-NAS利用增强学习代理动态调整GPU资源,以平衡高能效采样和高能耗评估任务。
-
CE-NAS利用多目标优化器有效减少了NAS的搜索空间。
-
实验结果表明,CE-NAS在降低碳排放的同时,在NAS数据集和开放域NAS任务上取得了有效的结果。
-
在HW-NasBench数据集上,CE-NAS将碳排放减少了最多7.22倍,同时保持了与原始NAS相当的搜索效率。
-
在CIFAR-10上,CE-NAS以仅有1.68M参数和38.53磅二氧化碳的碳耗达到了97.35%的top-1精度。
-
在ImageNet上,CE-NAS的搜索模型在NVIDIA V100上使用FP16和0.78毫秒的TensorRT延迟,仅消耗909.86磅二氧化碳。
➡️