在 Cortex-M 微控制器上进行完全量化的深度神经网络设备端训练
内容提要
本文介绍了MicroAI框架在低功耗32位微控制器上的应用，优化了深度神经网络的量化和部署。研究表明，MicroAI在内存和功耗效率上优于现有推理引擎，能够有效降低RAM使用和能量消耗，提升模型部署能力。
延伸解读
量化策略与精度权衡
MicroAI采用混合低位宽压缩，结合8、4或2位均匀量化，通过基于规则的迭代过程确定每个激活和权重张量的最小位精度。这种方法旨在减少内存占用和计算需求，同时通过量化感知重训练保持模型精度。在STM32H7上，混合精度MobilenetV1实现了68%的Top1精度，比之前的8位实现提高了8%。
内存与功耗效率优势
与TensorFlow Lite for Microcontrollers和STM32CubeAI相比，MicroAI在内存和功耗效率上表现更优。在Ambiq Apollo3和STM32L452RE微控制器上的验证表明，MicroAI能有效降低RAM使用和能量消耗，使其更适合资源受限的边缘设备。
部署可行性
MicroAI使用整数通道归一化（ICN）层，将模型部署到仅有2MB FLASH和512kB RAM的设备上。通过整数运算建模推理图，摆脱了资源限制，使得深度神经网络能够在低功耗32位微控制器上运行，为边缘设备上的设备端训练和推理提供了可能。
Q&A
MicroAI框架的主要优势是什么？
MicroAI框架在内存和功耗效率上优于现有推理引擎，能够有效降低RAM使用和能量消耗。
MicroAI如何优化深度神经网络的量化和部署？
MicroAI通过混合低位宽压缩和量化感知重训练，优化了深度神经网络的量化和部署。
MicroAI在STM32H7微控制器上的实验结果如何？
实验结果显示，MicroAI在STM32H7微控制器上实现了68%的Top1精度，比之前的8位实现提高了8%。
MicroAI框架适用于哪些类型的微控制器？
MicroAI框架适用于低功耗32位微控制器，如ARM Cortex-M系列。
MicroAI的评估数据集有哪些？
MicroAI的评估数据集包括UCI-HAR、Spoken MNIST和GTSRB。
MicroAI如何降低边缘设备的内存和计算限制？
MicroAI通过确定每个激活和权重张量的最小位精度，摆脱了资源受限边缘设备的内存和计算限制。
