一个非单调平滑激活函数

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了一种名为Sqish的新型激活函数,可替代现有的激活函数。作者展示了Sqish在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性。在CIFAR100数据集上,使用ShuffleNet V2模型在FGSM对抗攻击中,相较于ReLU取得了8.21%的改进,并且在CIFAR100数据集上,使用ShuffleNet V2模型进行图像分类,相较于ReLU取得了5.87%的改进。

🎯

关键要点

  • 本文提出了一种名为Sqish的新型激活函数。
  • Sqish作为现有激活函数的替代品,展示了其在多个任务中的优越性。
  • 在分类、目标检测、分割任务和对抗性鲁棒性实验中,Sqish表现出色。
  • 在CIFAR100数据集上,使用ShuffleNet V2模型,Sqish在FGSM对抗攻击中相较于ReLU取得了8.21%的改进。
  • 在CIFAR100数据集上,使用ShuffleNet V2模型进行图像分类时,Sqish相较于ReLU取得了5.87%的改进。
➡️

继续阅读