BriefGPT - AI 论文速递
·
PaCKD: 模式聚类知识蒸馏用于压缩内存访问预测模型
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本文提出了一种基于知识蒸馏的模型压缩框架，无需预训练权重，同时学习和蒸馏集成知识。实验证明，该框架在CIFAR100数据集上显著提高了ResNet110和DenseNet-BC模型的相对精度。
🎯
关键要点
-
提出了一种基于知识蒸馏的模型压缩框架。
-
该框架无需预训练权重，能够同时学习和蒸馏集成知识。
-
在压缩的学生模型上蒸馏集成知识，支持多个压缩学生的交付。
-
实验结果显示，压缩率达97%的ResNet110模型在CIFAR100数据集上相对精度提高了10.64%。
-
压缩率达95%的DenseNet-BC模型相对精度提高了8.17%。
➡️
