用Hard-Swish激活函数评估模型性能
原文中文，约500字，阅读约需2分钟。发表于：。本研究解决了在模式识别中提升模型准确率的问题，通过评估使用ReLU、Swish和Hard-Swish激活函数的模型性能，提出了激活函数替换的创新方法。研究结果表明，在CIFAR-10数据集上的准确率提高了2.06%，在ATLAS数据集上提高了0.30%，显示出优化预训练模型激活函数在提升总体准确性方面的重要性。
我们推出了Swish-T系列，通过加入Tanh偏置改进了Swish激活函数。Swish-T在训练初期更好地接受负值，曲线更平滑。Swish-T$_{C}$及其变体在多种任务中表现出色，适用于不同应用。消融研究表明，Swish-T$_{C}$作为非参数函数仍能实现高性能，并在多个模型和数据集上验证了其优越性。
