该文综述可训练激活函数研究，涵盖：ABUs自适应调整混合比例；样条理论揭示激活函数与Banach空间关系；SAFS结合稀疏激活搜索与超参优化，在高剪枝率下提升准确率；自适应激活函数加速物理神经网络回归收敛；PAUs替代固定激活函数提升性能；进化搜索自动定制激活函数；分段线性激活函数在CIFAR-10达最优；平滑激活函数利于过参数化网络训练；并系统分类可训练激活函数。

本文综述大语言模型在资源受限设备上的推断优化，重点探讨ReLU激活函数的稀疏特性。通过重新引入ReLU并利用其稀疏模式，可显著减少计算量，实现三倍性能提升。研究还涉及稀疏激活函数搜索、自动搜索新激活函数（如Swish）、稀疏注意力模型ReLA及多元投影单元等，旨在提高效率与准确率。