无训练的大型语言模型激活稀疏性
内容提要
本文研究了大型语言模型的稀疏微调，提出了多种方法以提高模型的稀疏性和性能。通过引入稀疏权重和新激活函数，模型在推理和训练中实现了显著加速，尤其是在CPU和GPU上。研究表明，稀疏激活有效提升了模型效率，新方法如Q-Sparse和TDA在不影响性能的情况下，进一步优化了稀疏性和生成速度。
延伸解读
稀疏微调的实际加速效果
文章提到，通过引入稀疏权重微调预训练模型，SquareHead蒸馏方法能在高稀疏率下准确恢复性能，并在CPU和GPU上实现执行速度提升。这表明稀疏微调不仅减少参数，还能带来实际推理加速，对部署在资源受限环境的模型有实用价值。
激活稀疏性的验证与度量
研究开发了度量方法评估稀疏编码技术，发现语言模型激活可被特征的稀疏线性组合建模，且第一层和最后一层最稀疏。这为理解模型内部表示提供了证据，也说明稀疏性并非人为强加，而是模型固有特性，有助于指导稀疏化方法的设计。
无需训练的稀疏化新途径
TDA方法无需训练即可利用序列信息提升模型固有稀疏性，加速生成18-25%且不影响任务表现。这降低了稀疏化的应用门槛，避免了额外训练成本，为现有模型快速部署提供了轻量级优化选项。
稀疏激活的硬件与部署优势
dReLU函数和高质量数据混合促进了有效稀疏化，在Mistral和Mixtral模型上每次推理仅激活25亿和43亿参数，实现2-5倍解码加速，甚至在手机上达到每秒11个标记。这展示了稀疏激活在移动端等边缘设备上的巨大潜力。
Q&A
大型语言模型的稀疏微调有什么重要性？
稀疏微调可以提高模型的效率和性能，尤其是在CPU和GPU上加速执行。
什么是SquareHead蒸馏方法？
SquareHead是一种基于L2范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并提升模型执行速度。
如何评估稀疏编码技术的成功？
通过开发度量方法，可以测量语言模型中的稀疏水平，并预测合成稀疏线性激活的稀疏程度。
Learn-To-be-Efficient算法的作用是什么？
该算法通过激活较少的神经元来提升大型语言模型的效率，实现更好的稀疏性和性能平衡。
ProSparse方法如何实现激活稀疏性？
ProSparse通过替换激活函数为ReLU，并采用渐进稀疏正则化，实现更高的激活稀疏性而不降低性能。
阈值动态激活(TDA)方法的优势是什么？
TDA方法无需训练，利用序列信息提升模型稀疏性，加速生成速度18-25%，且不显著影响任务表现。
