SwishReLU: 增强深度神经网络性能的激活函数的统一方法
原文中文,约300字,阅读约需1分钟。发表于: 。本文介绍了一种新的激活函数 SwishReLU,它结合了 ReLU 和 Swish 的元素,发现 SwishReLU 在计算成本较低的同时,性能优于 ReLU,并使用不同类型的 ReLU 变体与 SwishReLU 在三个数据集上进行了比较。在 CIFAR-10 数据集上,将 SwishReLU 应用于 VGG16 模型可以提高 6% 的准确率。
本文介绍了一种新的激活函数SwishReLU,结合了ReLU和Swish的元素。研究发现SwishReLU在计算成本较低的同时,性能优于ReLU。在CIFAR-10数据集上应用于VGG16模型可以提高6%的准确率。