本文探讨了神经网络中的激活函数，特别是ReLU的作用及其对网络性能的影响。研究提出了一种新型激活函数Sqish，实验结果表明其在分类和对抗性鲁棒性方面优于ReLU，尤其在CIFAR100数据集上表现显著改善。

本文介绍了一种名为Sqish的新型激活函数，可替代现有的激活函数。作者展示了Sqish在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性。在CIFAR100数据集上，使用ShuffleNet V2模型在FGSM对抗攻击中，相较于ReLU取得了8.21%的改进，并且在CIFAR100数据集上，使用ShuffleNet V2模型进行图像分类，相较于ReLU取得了5.87%的改进。