Perturbation-efficient Zeroth-order Optimization for Hardware-friendly On-device Training

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出PeZO框架,旨在解决零阶优化在硬件平台上对高高斯随机数生成的需求。通过随机数重用策略和适应性缩放方法,显著降低了硬件资源和功耗,使设备端训练成为可能。实验结果表明,PeZO在逻辑单元和功耗方面具有优势,为未来研究提供了重要见解。

🏷️

标签

➡️

继续阅读