ShadowLLM: 基于预测的上下文稀疏化大语言模型
内容提要
本文介绍了DejaVu系统，该系统通过上下文稀疏性预测算法和异步硬件感知，显著降低了OPT-175B的推理延迟。研究提出了多种稀疏化方法，以提升大型语言模型（LLMs）的训练效率和推理速度，同时保持准确性。通过稀疏性和剪枝技术，模型大小减小，训练时间节省，展现出在特定任务上的高效性。
延伸解读
稀疏化技术的实际收益
文章指出，通过上下文稀疏性预测和异步硬件感知，DejaVu系统将OPT-175B的推理延迟降低2倍，相比FasterTransformer和Hugging Face实现降低超过6倍。此外，稀疏性还可加速训练：持续预训练吞吐量提升45%，监督微调节省38%训练时间。这些数据表明，稀疏化不仅能提升推理效率，也能优化训练过程，为大规模模型部署提供实用价值。
无需重训练的剪枝方法
基于Hessian灵敏度感知的混合稀疏剪枝方法，能在不重新训练的情况下达到至少50%的稀疏度，并自适应分配稀疏度以减少剪枝错误。该方法与量化兼容，可进一步压缩模型。这为资源受限场景提供了低成本的模型压缩途径，但需注意其在高稀疏度下的表现优势更显著，实际应用中需权衡稀疏度与任务需求。
稀疏激活的精度与效率平衡
CATS框架在50%激活稀疏度下，下游任务性能与基础模型仅差1-2%，且无需微调；SampleAttention在稀疏注意力下几乎无精度损失，实现80%稀疏化比率。这些结果说明，稀疏化能在保持性能的同时显著降低计算成本，但不同方法适用的稀疏度范围和任务类型可能不同，选择时需结合具体场景。
Q&A
DejaVu系统如何降低OPT-175B的推理延迟？
DejaVu系统通过上下文稀疏性预测算法和异步硬件感知，将OPT-175B的推理延迟降低了2倍，且相比于FasterTransformer和Hugging Face实现，推理延迟降低超过6倍。
什么是基于Hessian灵敏度感知的混合稀疏剪枝方法？
该方法能够在不需要重新训练的情况下实现至少50%的稀疏度，减少剪枝引起的错误，同时保持整体稀疏度水平。
稀疏性如何加速大型语言模型的训练过程？
通过排除不活跃的神经元，稀疏性提高了计算速度，预训练中吞吐量提升45%，监督微调中节省38%的训练时间。
Learn-To-be-Efficient算法的作用是什么？
该算法通过激活较少神经元来提升大型语言模型的效率，实现了较好的稀疏性和性能平衡。
CATS框架在稀疏化大型语言模型中有什么优势？
CATS框架在50%的激活稀疏程度下，能够实现与基础模型相近的下游任务性能，并具有更快的收敛速度。
Mini-GPT是如何优化大型语言模型的？
Mini-GPT通过上下文剪枝技术优化大型语言模型，保留核心功能的同时大幅减小模型大小，展现出高效性和有效性。
