知识转化:模型压缩的新途径
原文中文,约300字,阅读约需1分钟。发表于: 。通过知识翻译 (KT) 框架,利用神经网络将不同大小的模型进行转换以减少深度学习模型的训练、推理和存储开销,并通过数据增强策略在有限训练数据的情况下提高模型性能,成功展示了在 MNIST 数据集上的可行性。
该论文提出了一种量化感知张量压缩训练方法,通过压缩Transformer模型的嵌入层和线性层,获得低精度的模型表示进行训练。通过层与层的蒸馏方法将预训练的Transformer模型转换为量化和张量压缩的学生模型,提高收敛速度。在自然语言理解任务中,表现出高压缩比、几乎无损的精度损失和显著的推断和训练加速。