PyTorch中的激活函数（四）
原文英文，约500词，阅读约需2分钟。发表于：。Buy Me a Coffee☕ *Memos: My post explains GELU() and Mish(). My post explains SiLU() and Softplus(). My post explains Step function, Identity and ReLU. My post explains Leaky ReLU, PReLU and...
文章介绍了几种激活函数及其优缺点。GELU和Mish能缓解梯度消失和ReLU死亡问题，但计算复杂。SiLU（Swish）通过Sigmoid加权实现，优点相似但计算量大。Softplus将输入转换为0到∞，稳定收敛，缓解梯度问题，但计算复杂。这些函数在PyTorch中用于自然语言处理模型如Transformer。
