BriefGPT - AI 论文速递 · 2024-12-09T00:00:00Z

S$^{2}$FT: Achieving Efficient, Scalable, and Generalizable LLM Fine-Tuning through Structural Sparsity

📝

内容提要

本研究提出结构稀疏微调(S$^{2}$FT)方法，解决了现有PEFT在LLM微调中高质量、效率和可扩展性之间的矛盾。S$^{2}$FT在多领域泛化能力上优于传统方法，训练内存节省3倍，延迟改善1.5-2.7倍。

🏷️

标签

LLM微调 PEFT 泛化能力 结构稀疏微调 训练效率