在高效基础上构建：利用结构化前馈层有效训练 LLMs
内容提要
本研究提出了混合压缩模型LoRAP，增强了Transformer模型的低秩特性，并提出了一种无梯度的结构化通道剪枝方法。通过分析前馈网络的设计，发现Avg-K选择方法在语言建模中优于现有架构。此外，介绍了FinerCut剪枝方法和快速前馈架构，优化了模型性能和推理成本，适用于大型语言模型的高效训练和部署。
延伸解读
前馈网络设计的关键选择
文章分析了S-FFN这种大而稀疏的前馈网络的两个主要设计选择：内存块（或专家）大小和内存块选择方法。在语言建模预训练中，更简单的Avg-K选择方法通过均值聚合隐藏状态选择块，比现有的MoE架构实现了更低的困惑度。这表明在稀疏前馈网络设计中，简单的选择策略可能更有效，为后续研究提供了实用参考。
结构化剪枝的进展与优势
FinerCut剪枝方法能够同时剪枝Transformer中的自注意力层和前馈神经网络层，达到模型精简、可解释和多任务的效果。与之前的工作相比，FinerCut在大多数任务上表现更优，且无需微调或后剪枝重建。该方法还提供可视化工具，帮助观察被剪枝层的类型和位置，为高效语言模型设计提供了新思路。
快速前馈架构的推理优化
快速前馈（FFF）架构打破了层大小与推理成本之间的线性关系，通过引入对数时间的前馈网络替代方案。实验表明，FFF在推理成本的指数分数上表现出与前馈网络相当的性能，且比专家混合网络更快地提供性能。在视觉Transformer中，FFF甚至能以仅5.8%的性能下降实现单神经元推理，展示了其在降低推理成本方面的潜力。
模型压缩技术的实际应用
文章介绍了多种模型压缩技术，如LoRAP混合压缩模型和基于低秩结构与量化参数的GPU方法，用于预训练和微调大型语言模型。这些技术能在保持高准确率的同时，实现较快的速度和高模型压缩比。此外，通过将前馈网络划分为两部分，可以进一步提高压缩效果，显著减小模型尺寸并提升推理速度，有助于在商用硬件上部署预训练语言模型。
Q&A
LoRAP模型的主要特点是什么？
LoRAP模型通过增强Transformer模型的低秩特性和提出无梯度的结构化通道剪枝方法，优化了前馈网络的性能。
Avg-K选择方法在语言建模中有什么优势？
Avg-K选择方法通过均值聚合隐藏状态选择块，能够实现比现有MoE架构更低的困惑度。
FinerCut剪枝方法的主要功能是什么？
FinerCut剪枝方法能够剪枝自注意力层和前馈神经网络层，达到模型精简和多任务的效果，且无需微调。
快速前馈架构（FFF）如何优化推理成本？
快速前馈架构通过引入对数时间的前馈网络替代方案，打破了层大小与推理成本之间的线性关系，从而优化推理成本。
如何通过模型压缩技术提高预训练语言模型的效率？
通过将前馈网络划分为两部分，优化已有压缩方法，可以显著减少模型尺寸和提升推理速度。
该研究对大型语言模型的训练和部署有什么影响？
该研究通过提出高效的模型压缩和优化方法，提高了大型语言模型的训练效率和部署性能。
