ShiftAddAug：基于乘法算子训练的最新无乘法网络方案 | CVPR'24 - 晓飞的算法工程笔记

晓飞的算法工程笔记 · 2024-09-26T01:16:00Z

ShiftAddAug通过混合计算提升无乘法神经网络的准确性，无需增加推理开销。它将小型无乘法网络嵌入大型乘法模型中，利用乘法增强无乘法部分。新权重共享策略解决运算符权重差异，并通过两阶段神经架构搜索优化小型网络。实验显示，ShiftAddAug在图像分类和语义分割中显著提升性能，CIFAR100准确性提高4.95%，超过传统乘法网络。