在 Transformer 中重用 Softmax 硬件单元进行 GELU 计算
内容提要
本文综述了多种神经网络激活函数：GELU在视觉、语言和语音任务中性能优于ReLU和ELU；GLU变体在Transformer前馈层可超越ReLU和GELU；TeLU能缓解梯度消失与爆炸且表现卓越；此外还涉及非线性激活的硬件高效实现、量化网络激活替换，以及MLP核函数与不动点动力学分析。
延伸解读
激活函数选择：从ReLU到GELU的演进
文章指出GELU在视觉、语言和语音任务中均优于ReLU和ELU，而GLU变体在Transformer前馈层中可超越ReLU和GELU。这提示读者，在模型设计中，激活函数的选择并非一成不变，需根据任务和网络结构进行权衡。GELU的平滑性和非线性特性可能带来性能提升，但计算成本也需考虑。
硬件实现与量化：激活函数的效率考量
文章提到利用组合电路高效实现SELU和tanh等非线性激活，相比LUT/存储器实现可节省面积并运行在更高时钟频率。同时，在量化网络中，用ReLU替换GELU可在保持精度下提升推理速度。这表明，在部署时，激活函数的硬件友好性和量化兼容性至关重要，需在精度与效率间取得平衡。
新兴激活函数：TeLU与GLU变体的潜力
TeLU通过解决梯度消失和爆炸问题，提高了稳定性和鲁棒性，被视为潜在新标准。GLU变体在Transformer前馈层中也有质量改进。这些新激活函数为深度学习提供了更多选择，但读者需注意，其优势可能依赖于特定任务和网络架构，实际应用前应进行充分验证。
Q&A
GELU激活函数相比ReLU和ELU有什么优势？
GELU的非线性性能优于ReLU和ELU，并在计算机视觉、自然语言处理和语音任务中均实现了性能提升。
在Transformer前馈层中，有哪些激活函数可以替代ReLU或GELU并可能提升质量？
GLU的变体，其中用不同的非线性（或线性）函数代替sigmoid，在Transformer的前馈子层中使用时，比通常使用的ReLU或GELU激活函数有质量改进。
TeLU激活函数解决了什么问题？
TeLU通过解决梯度消失和梯度爆炸问题，提高了稳定性和鲁棒性，在各种深度学习应用中表现出卓越的性能。
如何高效实现非线性激活函数（如SELU和tanh）的硬件？
利用组合电路高效实现非线性激活函数（如SELU和tanh），在MNIST、CIFAR-10和IMAGENET基准测试中表现出很高的效率和精度，相比于LUT/存储器实现可以节省3.13-7.69和4.45-8.45的面积，能够分别在5.14GHz和4.52GHz的时钟频率下运行。
在量化网络中，如何替换GELU激活以提升推理速度？
通过移除SWIN Transformer中的GELU激活，并用ReLU激活代替，使用迭代式知识蒸馏方法，在保持准确度下降低于0.5%的同时，至少提高了11%的量化SWIN Transformer的推理延迟。
多层感知器的核函数与不动点动力学有什么关系？
文章提出了一种新的方法来推导多层感知器的协方差函数，并研究了具有不同激活函数的神经网络的固定点动力学，结果表明这些新的核展现出在有限宽度神经网络中被反映的非平凡的固定点动力学，这些网络中存在的固定点行为解释了过参数化的深度模型中的隐式正则化机制。
