BriefGPT - AI 论文速递
·
ShiftAddAug: 用混合计算对无乘法小型神经网络进行增强
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
ShiftAddAug是一种使用ShiftAdd小型神经网络作为大型乘法模型的子模型进行训练的方法，通过增强操作符之间的权重差异问题，提供了更好的增强效果。在图像分类和语义分割实验中，ShiftAddAug相较于直接训练的对照组，精度提高了4.95%。
🎯
关键要点
- ShiftAddAug 是一种使用 ShiftAdd 小型神经网络作为大型乘法模型的子模型进行训练的方法。
- 该方法通过增强操作符之间的权重差异问题，提供了更好的增强效果。
- ShiftAddAug 采用新的权重共享方法和两阶段神经架构搜索方法。
- 在图像分类和语义分割实验中，ShiftAddAug 的表现优于直接训练的对照组。
- 在 CIFAR100 数据集上，ShiftAddAug 的精度提高了 4.95%，超过了乘法神经网络的性能。
🏷️
标签
➡️
