ShiftAddAug: 用混合计算对无乘法小型神经网络进行增强
内容提要
该研究提出了ShiftAddNAS模型搜索算法，通过经济高效的操作符优化神经网络，提升混合神经网络的准确性和效率。ShiftAddNet利用位移和加法替代传统乘法，结合量化和修剪技术，实现节能高效的深度学习。研究还探讨了多种神经网络架构的优化方法，提升了模型在图像分类和物体检测等任务中的性能。
延伸解读
无乘法神经网络的技术脉络
文章梳理了从2015年到2024年无乘法神经网络的发展，包括ShiftCNN、A&B BNN、ShiftAddNet、ShiftAddNAS、ShiftAddViT、ShiftAndAddLLM等。这些工作共同指向用位移、加法或位运算替代乘法，以降低计算能耗，并在图像分类、物体检测等任务上保持精度。读者可借此了解该领域从早期二值化到近期大模型加速的演进路径。
精度与效率的权衡实践
多个模型展示了替代乘法后的实际收益：ShiftCNN在ImageNet上准确率下降不到1%，A&B BNN在CIFAR-10上达到92.30%，ShiftAddNet结合量化与修剪可实现更节能的训练和推理。这些数据表明，无乘法操作并非以大幅牺牲精度为代价，而是提供了灵活的权衡空间，适合对能耗敏感的场景。
边缘与硬件部署的潜力
文章提到DeepShift模型在GPU内核上减少25%延迟，ShiftCNN可部署于FPGA或ASIC，ShiftAddViT实现GPU端到端推理加速。这些案例说明，位移和加法操作对硬件友好，能简化推理并提升能效，为边缘计算平台上的模型部署提供了可行方向。
大模型加速的新思路
ShiftAndAddLLM通过将权重矩阵量化为二进制矩阵，并将乘法重新参数化为移位和加法，以减少内存使用和延迟，同时用多目标优化降低精度损失。这显示无乘法思路已从卷积网络扩展到大型语言模型，为预训练大模型的后期加速提供了新途径。
Q&A
ShiftAddNAS模型搜索算法的主要目标是什么？
ShiftAddNAS模型搜索算法旨在通过经济高效的操作符优化神经网络，提升混合神经网络的准确性和效率。
ShiftAddNet是如何替代传统乘法运算的？
ShiftAddNet使用位移和加法替代传统乘法运算，结合量化和修剪技术，实现节能高效的深度学习。
ShiftAddNet在边缘计算平台上的表现如何？
ShiftAddNet在边缘计算平台上加速模型部署，减少了25%的延迟时间，具有良好的应用前景。
什么是网络增益训练方法，它的作用是什么？
网络增益训练方法通过反向dropout增强微型神经网络性能，改善了图像分类和物体检测任务的效果。
ShiftAndAddLLM是如何减少内存使用和延迟的？
ShiftAndAddLLM通过量化权重矩阵和重新参数化乘法，减少内存使用和延迟，同时降低精度损失。
DenseShift神经网络在低比特训练方面有什么优势？
DenseShift神经网络在低比特训练和转移学习方面表现优越，简化推理并提高模型容量。
