一个非单调平滑激活函数

本文介绍了一种名为Sqish的新型激活函数，可替代现有的激活函数。作者展示了Sqish在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性。在CIFAR100数据集上，使用ShuffleNet V2模型在FGSM对抗攻击中，相较于ReLU取得了8.21%的改进，并且在CIFAR100数据集上，使用ShuffleNet V2模型进行图像分类，相较于ReLU取得了5.87%的改进。