LORD:单语代码 LLM 的低秩分解用于一次性压缩

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

LoSparse是一种新的模型压缩技术,通过低秩矩阵和稀疏矩阵的加和来近似权重矩阵,避免了低秩逼近和剪枝的局限性,在自然语言理解、问答和生成等任务中表现优异。

🏷️

标签

➡️

继续阅读