ShiftAddAug：基于乘法算子训练的最新无乘法网络方案 | CVPR'24 - 晓飞的算法工程笔记
💡
原文中文，约7200字，阅读约需18分钟。
📝
内容提要
ShiftAddAug通过混合计算提升无乘法神经网络的准确性，无需增加推理开销。它将小型无乘法网络嵌入大型乘法模型中，利用乘法增强无乘法部分。新权重共享策略解决运算符权重差异，并通过两阶段神经架构搜索优化小型网络。实验显示，ShiftAddAug在图像分类和语义分割中显著提升性能，CIFAR100准确性提高4.95%，超过传统乘法网络。
🎯
关键要点
-
ShiftAddAug通过混合计算提升无乘法神经网络的准确性，无需增加推理开销。
-
将小型无乘法网络嵌入大型乘法模型中，利用乘法增强无乘法部分。
-
新权重共享策略解决运算符权重差异，并通过两阶段神经架构搜索优化小型网络。
-
实验显示，ShiftAddAug在图像分类和语义分割中显著提升性能，CIFAR100准确性提高4.95%。
-
深度神经网络在资源受限平台上的应用受限于能量需求和计算成本。
-
ShiftAddAug通过混合计算增强小型无乘法神经网络，显著提高准确性。
-
提出了一种新的异构权重共享策略，解决了不同运算符权重分布不一致的问题。
-
ShiftAddAug采用两阶段神经架构搜索，寻找高效的无乘法小型神经网络。
-
与乘法神经网络相比，ShiftAddAug在提高准确率的同时保持硬件效率。
➡️
