只激活3.8B参数，性能比肩同款7B模型！训练微调都能用，来自微软
内容提要
微软亚洲研究院提出了一种名为Q-Sparse的模型稀疏化方法，只需激活60%的参数就能实现与全激活稠密模型相当的性能。该方法适用于从头训练、继续训练和微调，并能与量化技术结合使用。研究还发现了适用于模型推理优化的“Scaling Law”。实验结果表明，Q-Sparse在稀疏率和模型表现上优于之前的ReLU方法。此外，作者还发现稀疏激活模型的性能遵循幂律缩放关系，随着模型规模的增大，稀疏激活模型与密集模型之间的性能差距逐渐缩小。
延伸解读
稀疏化与量化的协同效应
Q-Sparse不仅适用于普通模型，还能与量化技术结合。在自研的BitNet b1.58模型上应用Q-Sparse后，训练收敛速度和最终损失与未使用时相当，说明两者兼容。这意味着在实际部署中，可以同时利用稀疏化和量化来降低推理成本，且不会显著影响模型性能。
最优稀疏率随精度变化
研究发现，在给定推理预算下，存在一个最优稀疏率S*使损失最小化。对于全精度（FP32）模型，最优稀疏率约为45.58%；而对于低精度（如1.58-bit）模型，最优稀疏率更高，约为61.25%。这表明低精度模型可以承受更高的稀疏率，为不同精度下的稀疏化策略提供了参考。
规模增大缩小性能差距
稀疏激活模型的性能遵循幂律缩放关系，随着模型规模增大，稀疏模型与密集模型之间的性能差距逐渐缩小。当模型规模趋于无穷大时，两者的损失函数值都趋于常数E，意味着在极大规模下，稀疏模型有可能达到与密集模型相当的性能。这为设计大规模稀疏模型提供了理论支持。
Q&A
Q-Sparse模型的主要优势是什么？
Q-Sparse模型只需激活60%的参数即可实现与全激活模型相当的性能，显著降低计算量和内存带宽需求。
Q-Sparse如何实现模型稀疏化？
Q-Sparse通过Top-K稀疏化函数对输入张量进行处理，保留绝对值最大的K个元素，从而实现稀疏化。
Q-Sparse模型适用于哪些训练方式？
Q-Sparse适用于从头训练、继续训练和微调，具有广泛的应用范围。
Q-Sparse与ReLU方法相比有什么优势？
实验结果显示，Q-Sparse在稀疏率和模型表现上均优于ReLU方法，能够在不同任务中保持性能。
Q-Sparse的最优稀疏率是多少？
对于全精度模型，Q-Sparse的最优稀疏率约为45.58%。
Q-Sparse如何与量化技术结合使用？
Q-Sparse可以无缝集成到量化模型中，进一步提高大语言模型在推理阶段的效率。
