ReLU$^2$ 胜出：发现稀疏 LLMs 的高效激活函数
内容提要
本文综述大语言模型在资源受限设备上的推断优化，重点探讨ReLU激活函数的稀疏特性。通过重新引入ReLU并利用其稀疏模式，可显著减少计算量，实现三倍性能提升。研究还涉及稀疏激活函数搜索、自动搜索新激活函数（如Swish）、稀疏注意力模型ReLA及多元投影单元等，旨在提高效率与准确率。
延伸解读
稀疏性如何带来三倍加速
文章指出，ReLU激活函数会产生大量零值输出，形成稀疏激活模式。在资源受限设备上，通过跳过这些零值神经元的计算，可以显著减少推断时的计算量。这种基于稀疏性的优化策略，相比传统矩阵乘法，在稀疏度较高时能实现三倍的性能提升，为边缘设备部署大模型提供了实用路径。
自动搜索激活函数的探索
除了重新审视ReLU，文章还提到利用自动搜索技术发现新激活函数。通过详尽搜索与强化学习结合，研究者找到了Swish等函数，在部分困难数据集上表现优于ReLU。这表明激活函数的设计空间仍可挖掘，但搜索成本与泛化能力是需要权衡的因素。
稀疏注意力与替代方案
文章介绍了ReLA模型，用ReLU替代softmax实现稀疏注意力，并通过门控或专门初始化保持训练稳定。在机器翻译任务中，ReLA表现出良好效果与高稀疏率。这提示稀疏化不仅适用于前馈激活，也可扩展到注意力机制，为效率与准确率的平衡提供新思路。
理论支撑与表达能力
文章引用多项理论研究，从样条理论、Banach空间到Jones-Barron概率方法，分析了ReLU等激活函数的表达能力与误差估计。这些工作表明，在特定稀疏度假设下，浅层网络也能有效近似复杂函数，为稀疏激活的实用性提供了理论依据，但实际部署仍需考虑任务与硬件特性。
Q&A
ReLU² 是什么？它为什么能提升稀疏大语言模型的效率？
ReLU² 是一种激活函数，通过重新引入 ReLU 并利用其稀疏模式，可以显著减少大语言模型在资源受限设备上的推断计算量，实现三倍的性能提升。
稀疏激活函数搜索（SAFS）如何提高稀疏神经网络的准确率？
SAFS 结合调整稀疏网络激活函数和独立的超参数优化（HPO），在多个数据集和模型上实验，与默认训练协议相比，在高剪枝率下，LeNet-5、VGG-16 和 ResNet-18 的准确率分别提高了 15.53%、8.88% 和 6.33%。
自动搜索发现的 Swish 激活函数相比 ReLU 有什么优势？
通过自动搜索技术（结合详尽和强化学习搜索）发现的 Swish 激活函数，在许多困难数据集上比 ReLU 更有效。
ReLA 模型是什么？它在机器翻译任务中表现如何？
ReLA 是一种采用 ReLU 激活函数代替 softmax 函数来实现稀疏注意的模型，通过额外的门控函数或专门的初始化实现训练稳定性。实验表明，ReLA 在机器翻译任务中表现良好，实现效率高，并能实现高稀疏率和头部多样性。
多元投影单元（MPU）与 ReLU 相比有什么优势？
MPU 通过将 ReLU 替换为广义投影算子，扩展为具有多个输入和多个输出的单元。实验证明，由 SOC 投影激活的前馈神经网络（FNN）在表达能力上优于使用 ReLU 的 FNN，并且 MPU 在更广泛的现有激活函数范围内有效。
ReLU 输出的稀疏性如何加速卷积神经网络的计算？
通过探究 ReLU 输出的稀疏性质，可以跳过计算零值神经元，从而加速卷积计算。当稀疏度不低于 0.9 时，在 CPU 上相比传统矩阵乘法实现了较大的加速。
