BriefGPT - AI 论文速递
·
MAP：面向源码自由的模型知识产权保护的 MAsk-Pruning
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本研究解决传输学习中的数据集剪枝问题，通过标签和特征映射方法提高预训练效率并保持准确度。实验证明该方法在多个传输学习任务上有效，可剪枝源数据类别达40%至80%，并实现2至5倍加速。适用于其他计算密集型传输学习技术。
🎯
关键要点
- 本研究解决传输学习中的数据集剪枝问题。
- 通过识别和删除冗余训练样本，提高预训练效率。
- 提出标签映射和特征映射两种新的数据集剪枝方法。
- 现有的数据集剪枝方法不适用于传输学习范式。
- 源数据类别可以剪枝达到40%至80%，不牺牲下游性能。
- 在预训练阶段实现了2至5倍的加速。
- 该方法适用于其他计算密集型传输学习技术。
➡️
