量子位
·
CVPR满分论文：一块2080Ti搞定数据蒸馏，GPU占用仅2G，来自上交大“最年轻博导”课题组
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
上交大EPIC实验室提出的新数据蒸馏方法NFCM，使用2080Ti显卡仅需2GB内存，显著提升性能和速度。该方法将数据蒸馏转化为minmax优化问题，优化合成数据质量，适用于多个基准数据集，表现优异。
🎯
关键要点
- 上交大EPIC实验室提出的新数据蒸馏方法NFCM，使用2080Ti显卡仅需2GB内存。
- NFCM显存占用只有1/300，速度提升了20倍，相关论文获得CVPR满分。
- NFCM将数据集蒸馏重新表述为极小化极大（minmax）优化问题。
- 在CIFAR数据集上，NFCM实现无损数据集蒸馏，表现优异。
- NFCM引入新的分布差异度量NCFD，优化合成数据质量。
- 特征提取网络将原始数据映射到特征空间，提取高层语义特征。
- NCFD综合考虑所有采样频率上的CF差异，度量真实数据与合成数据的分布差异。
- NCFM通过交替优化实现合成数据质量的提升和NCFD度量的敏感性。
- 模型微调和标签生成步骤进一步提升合成数据质量。
- 在多个数据集上，NCFM的测试精度超过所有基线方法，表现卓越。
- NCFM在CIFAR-100上每轮迭代训练时间比TESLA快29.4倍，内存消耗仅为1/23.3。
- 王少博是本文第一作者，研究方向为深度学习理论和可解释性机器学习。
- 张林峰是通讯作者，年仅27岁，负责EPIC实验室并参与多项顶级会议审稿。
❓
延伸问答
NFCM方法的主要优势是什么？
NFCM方法显存占用仅为1/300，速度提升20倍，且在多个数据集上表现优异。
NFCM是如何优化数据蒸馏的？
NFCM将数据蒸馏转化为minmax优化问题，通过交替优化合成数据和分布差异度量来提升数据质量。
NFCM在CIFAR数据集上的表现如何？
在CIFAR数据集上，NFCM实现了无损数据集蒸馏，测试精度超过所有基线方法。
NFCM使用了什么新的度量方法？
NFCM引入了神经特征函数差异（NCFD）作为新的分布差异度量，综合考虑所有采样频率上的CF差异。
NFCM的训练效率如何？
在CIFAR-100上，NFCM每轮迭代训练时间比TESLA快29.4倍，内存消耗仅为TESLA的1/23.3。
NFCM的研究团队有哪些重要成员？
研究团队包括第一作者王少博和通讯作者张林峰，张林峰年仅27岁，是上交大最年轻博导。
➡️
