高效稀疏深度神经网络在微控制器上的轻量级软件内核和硬件扩展

本研究针对微控制器上的剪枝深度神经网络加速问题，提出了三方面的贡献。首先，我们为N:M剪枝层设计了一组优化的软件内核，实现在1:8和1:16稀疏度下，速度分别比稠密版本提升2.1倍和3.4倍。此外，我们实现了轻量级的指令集架构扩展，从而在提升速度的同时，仅增加5%的面积开销。最后，我们扩展了开源深度神经网络编译器，展示了在ResNet18和视觉变换器（ViT）上的显著加速效果。