ShiftAddAug通过混合计算提升无乘法神经网络的准确性,无需增加推理开销。它将小型无乘法网络嵌入大型乘法模型中,利用乘法增强无乘法部分。新权重共享策略解决运算符权重差异,并通过两阶段神经架构搜索优化小型网络。实验显示,ShiftAddAug在图像分类和语义分割中显著提升性能,CIFAR100准确性提高4.95%,超过传统乘法网络。
该研究提出了ShiftAddNAS模型搜索算法,通过经济高效的操作符优化神经网络,提升混合神经网络的准确性和效率。ShiftAddNet利用位移和加法替代传统乘法,结合量化和修剪技术,实现节能高效的深度学习。研究还探讨了多种神经网络架构的优化方法,提升了模型在图像分类和物体检测等任务中的性能。
完成下面两步后,将自动完成登录并继续当前操作。