第一激活至关重要：大型语言模型中无训练动态激活的方法
内容提要
本文研究了大语言模型在资源受限设备上的推断挑战，提出通过ReLU激活函数和稀疏化方法提升性能。采用新型dReLU函数和Mixture-of-Experts模型，实现推理速度提升2-5倍，同时保持高准确率。
延伸解读
稀疏激活的实用化路径
文章指出，通过将激活函数替换为ReLU并采用ProSparse等稀疏化方法，可以在不降低模型性能的情况下实现高激活稀疏性，从而带来实际的推理加速。这为资源受限设备部署大模型提供了可行方案，但需注意稀疏化过程需要渐进正则化和高质量训练数据，否则可能影响效果。
动态激活的局限性
针对LLaMA系列模型的调查发现，当前动态激活方案存在内在缺陷，包括动态预测激活头和神经元的复杂性、激活函数引起的稀疏性不足以及KV缓存跳过导致的信息保留不充分。这些因素使得LLaMA在高稀疏比率场景下表现较差，提示未来稀疏方案设计需解决这些问题。
dReLU与MoE的协同优化
文章提出dReLU函数以改善激活稀疏性，并结合Mixture-of-Experts模型中的稀疏激活模式进一步提升效率。在Mistral和Mixtral模型上的实验表明，每次推理仅激活少量参数，实现了2-5倍的解码加速，甚至在手机上达到每秒11个标记的推理速度，展示了该方法的实际潜力。
MOYU特性与激活惯性
大规模语言模型存在Massive Over-activation Yielded Uplifts（MOYU）固有属性，这导致动态激活策略面临与历史相关的激活不确定性和语义无关的激活惯性两大限制。理解这些机制有助于设计更有效的稀疏方案，避免因过度激活而抵消加速收益。
Q&A
如何提高大型语言模型在资源受限设备上的推理性能？
通过重新引入ReLU激活函数和采用稀疏化方法，可以显著减少推理计算量，达到三倍的性能提升。
什么是ProSparse方法，它的作用是什么？
ProSparse是一种有效的稀疏化方法，通过将激活函数替换为ReLU，实现更高的激活稀疏性而不降低模型性能。
dReLU函数在大型语言模型中的作用是什么？
dReLU函数旨在改善大型语言模型的激活稀疏性，并与Mixture-of-Experts模型结合提高效率。
在小型语言模型中实现稀疏激活的效果如何？
在小型语言模型中实现稀疏激活可以在只损失<5%的模型准确性的情况下实现80%的稀疏化比率。
动态激活机制在LLaMA模型中存在哪些缺陷？
LLaMA模型的动态激活机制存在内在复杂性、激活函数稀疏性不足和信息保留不充分等缺陷。
如何在大型语言模型中实现激活稀疏性？
通过使用激活函数的替换和高质量训练数据的混合比例，可以有效实现激活稀疏性。
