用Hard-Swish激活函数评估模型性能

BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z

我们推出了Swish-T系列，通过加入Tanh偏置改进了Swish激活函数。Swish-T在训练初期更好地接受负值，曲线更平滑。Swish-T$_{C}$及其变体在多种任务中表现出色，适用于不同应用。消融研究表明，Swish-T$_{C}$作为非参数函数仍能实现高性能，并在多个模型和数据集上验证了其优越性。