ShiftAddAug: 用混合计算对无乘法小型神经网络进行增强
原文中文,约400字,阅读约需1分钟。发表于: 。ShiftAddAug 使用昂贵的乘法增强了高效但较弱的无乘法操作符,通过将 ShiftAdd 小型神经网络用作大型乘法模型的子模型进行训练,并鼓励它获得额外的监督,以解决混合操作符之间的权重差异问题。此外,采用新的权重共享方法和新的两阶段神经架构搜索方法,获得更好的增强效果以用于更小但更强大的无乘法小型神经网络。在图像分类和语义分割实验中,验证了 ShiftAddAug...
ShiftAddAug是一种使用ShiftAdd小型神经网络作为大型乘法模型的子模型进行训练的方法,通过增强操作符之间的权重差异问题,提供了更好的增强效果。在图像分类和语义分割实验中,ShiftAddAug相较于直接训练的对照组,精度提高了4.95%。