Apple Machine Learning Research
·
SeedLM：将大型语言模型权重压缩为伪随机生成器的种子
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
大型语言模型（LLMs）在自然语言处理领域取得了突破，但因运行成本高而难以广泛应用。本文提出了一种新颖的后训练压缩方法SeedLM，通过伪随机生成器的种子编码和压缩模型权重，利用线性反馈移位寄存器生成随机矩阵，结合压缩系数重构权重块。SeedLM减少内存访问，提升内存密集型任务的速度，且无需校准数据，适用于多种任务。实验表明，SeedLM在4位和3位压缩下的零-shot准确率与最先进方法相当，并在FPGA测试中显示出显著加速效果。
🎯
关键要点
- 大型语言模型（LLMs）在自然语言处理领域取得了突破，但因运行成本高而难以广泛应用。
- 本文提出了一种新颖的后训练压缩方法SeedLM，通过伪随机生成器的种子编码和压缩模型权重。
- SeedLM利用线性反馈移位寄存器生成随机矩阵，结合压缩系数重构权重块。
- 该方法减少内存访问，提升内存密集型任务的速度，且无需校准数据，适用于多种任务。
- 实验表明，SeedLM在4位和3位压缩下的零-shot准确率与最先进方法相当。
- FPGA测试显示，SeedLM在模型规模增加时，4位压缩接近于FP16 Llama 2/3基线的4倍加速效果。
❓
延伸问答
SeedLM是什么？
SeedLM是一种新颖的后训练压缩方法，通过伪随机生成器的种子编码和压缩模型权重。
SeedLM如何提高内存密集型任务的速度？
SeedLM通过减少内存访问和利用空闲计算周期来加速内存密集型任务。
SeedLM的实验结果如何？
实验表明，SeedLM在4位和3位压缩下的零-shot准确率与最先进方法相当，并在FPGA测试中显示出显著加速效果。
SeedLM与其他压缩方法有什么不同？
与依赖校准数据的先进方法不同，SeedLM是无数据的，能够在多种任务中良好泛化。
SeedLM适用于哪些任务？
SeedLM适用于多种任务，因其无需校准数据且具有良好的泛化能力。
SeedLM在FPGA测试中的表现如何？
FPGA测试显示，SeedLM在模型规模增加时，4位压缩接近于FP16 Llama 2/3基线的4倍加速效果。
➡️
