Deeploy: 实现小型语言模型在异构微控制器上的能效部署
内容提要
本研究提出了一种名为Snowflake的编译器和定制硬件加速器，旨在优化卷积神经网络的性能，成功执行了AlexNet和ResNet18的推理任务。同时，介绍了TensorFlow Lite Micro框架，以解决嵌入式系统的资源限制问题。研究还探讨了TinyML和大型语言模型的部署技术，并提出了优化方法以提高能效和性能。
延伸解读
从CNN到LLM：微控制器部署的技术演进
文章梳理了微控制器上机器学习部署的多个技术节点：2017年的Snowflake编译器与定制加速器针对CNN优化，成功运行AlexNet和ResNet18；2020年的TensorFlow Lite Micro以解释器方案应对资源限制；2021年的MicroAI框架在内存和功耗效率上超越对比方案；2024年的研究则探索了在微控制器上部署注意力模型和大型语言模型。这一脉络显示，部署对象正从卷积网络向Transformer和LLM扩展，对编译、量化和硬件协同设计提出了新要求。
轻量模型设计：压缩与加速并重
文章提到，为在手机和微控制器等轻量设备上部署深度学习模型，需要综合运用轻量模型设计、模型压缩和硬件加速策略。其中，神经结构搜索被用于设计满足内存、延迟和能耗限制的模型，如MicroNet；ShiftAndAddLLM则通过将权重矩阵二值化并重新参数化乘法为移位和加法，减少内存使用和延迟。这些方法共同指向一个目标：在不显著损失精度的前提下，降低计算和存储开销。
异构架构与自动化部署的实践价值
文章指出，TinyML面临模型从CNN向Transformer演进的适应挑战。为此，有研究结合RISC-V处理器和硬件加速器的异构架构模板，并辅以自动化部署流程，实现了基于注意力的tinyML模型，取得了领先的能效和吞吐量。这表明，面对多样化的模型结构和资源约束，单一硬件或手动优化难以满足需求，异构计算与自动化工具链的结合正成为提升部署效率的关键路径。
Q&A
什么是Snowflake编译器，它的主要功能是什么？
Snowflake编译器是一种定制硬件加速器，旨在优化卷积神经网络的性能，主要功能包括模型结构解析、CNN负载分解、内存带宽优化和平衡内存访问。
TensorFlow Lite Micro框架的特点是什么？
TensorFlow Lite Micro框架具有低资源需求和最小的运行时性能开销，旨在解决嵌入式系统的资源限制问题。
MicroAI框架在内存和功耗效率方面的表现如何？
MicroAI框架在内存和功耗效率方面表现优越，经过评估与已有的嵌入式推理引擎比较，显示出更好的性能。
如何在小型语言模型中消除矩阵乘法操作？
通过在大规模语言模型中完全消除矩阵乘法操作，并保持与最先进的Transformer模型相当的性能，研究展示了这一方法的有效性。
ShiftAndAddLLM的作用是什么？
ShiftAndAddLLM通过将权重矩阵量化为二进制矩阵，并重新参数化乘法操作，以减少内存使用和延迟，同时降低精度损失。
TinyML在微控制器上的应用面临哪些挑战？
TinyML在微控制器上的应用面临资源限制和适应不断演进的机器学习模型的挑战。
