BriefGPT - AI 论文速递
·
通过刺激训练增强稀疏化
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究提出了一种增强稀疏化范式的结构化剪枝框架(STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。实验证明STP在极度激进的剪枝情况下有效，例如在ImageNet上对ResNet-50进行剪枝，保持95.11%的Top-1准确率。
🎯
关键要点
- 提出了一种增强稀疏化范式的结构化剪枝框架 (STP)。
- STP 通过自蒸馏的方式维持被剪枝权重的大小。
- STP 增强了保留权重的表现力。
- 采用多维架构空间和知识蒸馏引导的探索策略来找到最优剪枝网络架构。
- 使用子网变异扩展技术减小蒸馏的容量差距。
- 实验证明 STP 在极度激进的剪枝情况下有效。
- 在 ImageNet 上对 ResNet-50 进行剪枝时，STP 保持了 95.11% 的 Top-1 准确率。
➡️
