本研究提出了一种新颖的激活稀疏性度量标准PPL-$p\%$，并通过实验揭示了不同激活函数在训练时间和稀疏性方面的显著差异，为提升大型语言模型的效率和可解释性提供了依据。

介绍了dReLU激活函数，用于改善大型语言模型的激活稀疏性和性能。通过稀疏化神经元，实现了2-5倍的解码加速。手机上每秒可实现11个标记的推理速度。

该研究设计了一种稀疏训练过程，通过考虑激活的最终位置来诱导半结构化激活稀疏性。在图像分类和目标检测任务中评估，结果显示该方法在ResNet18模型上实现了1.25倍的加速，仅有1.1%的最小精度降低。与结构化剪枝方法相结合，该方法在延迟和准确性之间取得了平衡，优于仅采用结构化剪枝技术的模型。