BriefGPT - AI 论文速递 · 2023-12-28T00:00:00Z LLM 外科医生 💡 原文中文，约300字，阅读约需1分钟。 📝 内容提要 本文介绍了一种通过权重剪枝和模型蒸馏技术训练稀疏的预训练变压器语言模型，并使用量化感知训练将这些模型压缩为8位精度的新方法。实验证明，该方法在多种自然语言任务中传输知识，并且是目前最好的压缩BERT模型的方法。 🏷️ 标签 llm 压缩BERT模型 权重剪枝 模型蒸馏 稀疏预训练变压器语言模型 量化感知训练 阅读原文 生成长图 分享链接 已复制链接
