Grass: 结构稀疏梯度的计算高效低内存 LLM 训练
内容提要
本文介绍了针对大型语言模型的优化方法，包括基于梯度的模型修剪、低秩投影和稀疏性策略。这些方法提高了预训练和推理效率，降低了内存需求，同时保持高准确率。研究展示了在普通硬件上实现高效微调和推理的可行性。
延伸解读
内存优化：从优化器状态到参数表示
文章介绍了多种降低LLM训练内存需求的方法。GaLore通过低秩投影减少优化器状态内存高达65.5%，使得在24GB消费级GPU上预训练7B模型成为可能。SLTrain将权重参数化为低秩和稀疏矩阵之和，结合量化和逐层更新可降低内存需求达73%。这些技术从不同角度缓解内存瓶颈，为资源受限环境提供了可行方案。
稀疏性策略：训练与推理的双重加速
稀疏性被用于提升训练和推理效率。GBLM-Pruner利用卡尔曼几何进行模型修剪，在语言评估中超越幅度修剪、Wanda和SparseGPT。Flash-LLM优化稀疏矩阵乘法，提升推理性能。SquareHead蒸馏方法在高稀疏率下实现准确恢复，并展示CPU和GPU上的速度提升。这些工作表明稀疏性可以在不牺牲准确率的前提下加速LLM。
硬件适配：普通硬件上的高效微调与推理
文章强调在普通硬件上实现高效微调和推理。LSP_Offload通过稀疏压缩器和分层通信调度，在受限内存下以接近原生速度微调LLM。GaLore使7B模型预训练可在24GB GPU上进行。这些方法降低了LLM应用对高端硬件的依赖，使更多研究者和开发者能够参与大模型训练与部署。
Q&A
什么是GBLM-Pruner，它的优势是什么？
GBLM-Pruner是一种基于梯度的模型修剪器，利用几何相互关联性在语言评估中表现优于其他方法，显著提高了预训练效率。
Flash-LLM是如何提高推断性能的？
Flash-LLM通过优化稀疏矩阵乘法，在高性能Tensor Cores上实现显著的推断性能提升。
GaLore训练策略的主要特点是什么？
GaLore训练策略实现全参数学习，显著降低优化器状态内存使用，同时在多项任务上保持高效率和性能。
SLTrain方法如何提高预训练性能？
SLTrain通过低秩和稀疏矩阵参数化，几乎没有额外的参数和内存开销，显著提高了预训练性能。
如何在普通硬件上实现大型语言模型的高效微调？
LSP_Offload框架通过离线学习和分层通信调度，在普通硬件上以接近原生速度进行大型语言模型的微调。
SquareHead蒸馏方法的效果如何？
SquareHead蒸馏方法在高稀疏率下实现准确恢复，展示了稀疏语言模型在CPU和GPU执行中的速度提升。
