ECoFLaP: 高效细粒度层次裁剪用于视觉 - 语言模型

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

CoFi是一种新的剪枝方法,结合了粗细粒度模块的剪枝决策,并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型。实验表明,CoFi方法在GLUE和SQuAD数据集上具有更高的效率和效果,同时无需使用无标注数据。

🏷️

标签

➡️

继续阅读