BriefGPT - AI 论文速递
·
用Hard-Swish激活函数评估模型性能
💡
原文中文，约500字，阅读约需2分钟。
📝
内容提要
我们推出了Swish-T系列，通过加入Tanh偏置改进了Swish激活函数。Swish-T在训练初期更好地接受负值，曲线更平滑。Swish-T$_{C}$及其变体在多种任务中表现出色，适用于不同应用。消融研究表明，Swish-T$_{C}$作为非参数函数仍能实现高性能，并在多个模型和数据集上验证了其优越性。
🎯
关键要点
- 推出Swish-T系列，改进了Swish激活函数。
- Swish-T通过添加Tanh偏置，提供更广泛的负值接受范围和更平滑的曲线。
- Swish-T及其变体在多种任务中表现出色，适用于不同应用。
- 消融研究表明，Swish-T作为非参数函数仍能实现高性能。
- Swish-T系列在多个模型和数据集上验证了其优越性，包括MNIST、Fashion MNIST、SVHN、CIFAR-10和CIFAR-100。
- 代码公开可供使用。
➡️
