ShiftAddAug：基于乘法算子训练的最新无乘法网络方案 | CVPR'24 - 晓飞的算法工程笔记
原文中文，约7200字，阅读约需18分钟。发表于：。不包含乘法的运算符，如移位和加法，因其与硬件的兼容性而日益受到重视。然而，采用这些运算符的神经网络（NNs）通常表现出比具有相同结构的传统NNs更低的准确性。ShiftAddAug利用成本较高的乘法来增强高效但功能较弱的无乘法运算符，从而在没有任何推理开销的情况下提高性能。将一个ShiftAdd小型
ShiftAddAug通过混合计算提升无乘法神经网络的准确性，无需增加推理开销。它将小型无乘法网络嵌入大型乘法模型中，利用乘法增强无乘法部分。新权重共享策略解决运算符权重差异，并通过两阶段神经架构搜索优化小型网络。实验显示，ShiftAddAug在图像分类和语义分割中显著提升性能，CIFAR100准确性提高4.95%，超过传统乘法网络。
