本文综述大语言模型在资源受限设备上的推断优化，重点探讨ReLU激活函数的稀疏特性。通过重新引入ReLU并利用其稀疏模式，可显著减少计算量，实现三倍性能提升。研究还涉及稀疏激活函数搜索、自动搜索新激活函数（如Swish）、稀疏注意力模型ReLA及多元投影单元等，旨在提高效率与准确率。