ProSparse: 大型语言模型中引入并增强内在激活稀疏性
内容提要
该文综述大语言模型稀疏激活研究，指出ReLU、ReLU²激活、稀疏训练及E-Sparse等方法可降低推断计算量、提升效率并节省显存，同时保持精度；还探讨了激活的稀疏线性组合建模及自适应激活函数对分类性能的影响。
延伸解读
稀疏激活的实用价值
文章指出，通过重新引入ReLU激活函数并探索其稀疏模式，可以显著减少大语言模型在资源受限设备上的推断计算量，实现三倍性能提升。此外，E-Sparse方法在LLaMA和OPT模型上实现了高达1.53倍的推理加速和43.52%的显存节省，且精度损失可接受。这表明稀疏激活是提升模型效率的有效途径。
ReLU²与稀疏训练的优势
文章提到，采用ReLU²激活的模型在稀疏性、预测性及硬件亲和性方面表现突出，适合作为稀疏大语言模型的激活函数。同时，一种考虑激活最终位置的稀疏训练过程能诱导半结构化稀疏性，在ImageNet上ResNet18实现1.25倍加速，精度仅降1.1%，与结构化剪枝结合后能在延迟和准确性间取得更好平衡。
激活的稀疏线性组合建模
文章介绍了一种假设：语言模型中的激活可建模为输入文本特征向量的稀疏线性组合。研究者开发了度量方法来评估稀疏编码技术，并发现语言模型的激活确实能被特征的稀疏线性组合准确建模，且第一层和最后一层最为稀疏。这为理解模型内部表示提供了新视角。
自适应激活函数的影响
文章探讨了自适应激活函数在有限数据下对分类准确性和预测不确定性的影响。研究表明，具有个体训练参数的自适应激活函数（如ELU和Softplus）能产生更准确且自信的预测模型，优于固定形状激活函数。此外，Sparse Activation Function Search（SAFS）方法结合超参数优化，在高剪枝率下显著提升了LeNet-5、VGG-16和ResNet-18的准确率。
Q&A
大语言模型在资源受限设备上推断时面临什么挑战？有哪些改进方法？
大语言模型在资源受限设备上推断计算面临挑战，改进方法包括重新引入ReLU激活函数并探索其稀疏模式，可显著减少推断计算量，达到三倍的性能提升。
Learn-To-be-Efficient算法如何提升大语言模型的效率？
Learn-To-be-Efficient算法通过激活较少神经元来获得更好的稀疏性和性能平衡，从而实现大语言模型的效率提升。
为什么ReLU²激活函数适合用于稀疏大语言模型？
采用ReLU²的模型在稀疏性、预测性以及硬件亲和性等方面表现出色，显示出其作为稀疏大语言模型中高效激活函数的潜力。
E-Sparse方法如何提高大语言模型的N:M稀疏性准确性？
E-Sparse首次引入隐藏状态特征的信息熵作为修剪度量设计，通过引入信息熵和几种创新技术来快速优化信息分布和应对N:M稀疏性对准确性的影响。
E-Sparse在LLaMA和OPT模型上的实验效果如何？
对LLaMA系列和OPT模型的广泛实验表明，E-Sparse可以显著加速模型推理（高达1.53倍），并实现显著的内存节省（高达43.52%），在可接受的准确性损失范围内。
语言模型的激活可以被建模为稀疏线性组合吗？有哪些证据？
有证据表明语言模型的激活可以准确地被特征的稀疏线性组合所建模，这种情况比控制数据集要显著得多。此外，模型的激活在第一层和最后一层似乎是最稀疏的。
自适应激活函数对分类准确性和预测不确定性有什么影响？
具有个体训练参数的自适应激活函数（如ELU和Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。
Sparse Activation Function Search (SAFS)方法如何提高稀疏神经网络的预测准确率？
SAFS结合了调整稀疏网络激活函数和独立的超参数优化（HPO），在多个数据集和深度神经网络模型上实验，与默认训练协议相比，特别是在高剪枝率下，在LeNet-5、VGG-16和ResNet-18中的准确率分别提高了15.53％、8.88％和6.33％。
