BriefGPT - AI 论文速递
·
选择性推动生产力：提高迁移学习效率的高效数据集修剪
💡
原文中文，约500字，阅读约需1分钟。
📝
内容提要
本文提出了两种新的数据集剪枝方法，可以在不牺牲下游性能的情况下，将源数据类别剪枝达到40%至80%，在预训练阶段实现了显著的2至5倍加速。该方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术。
🎯
关键要点
- 提出了两种新的数据集剪枝方法，标签映射和特征映射。
- 旨在通过识别和删除冗余训练样本，提高预训练效率。
- 现有的数据集剪枝方法不适用于传输学习范式。
- 源数据类别可以剪枝达到40%至80%，而不牺牲下游性能。
- 在预训练阶段实现了显著的2至5倍加速。
- 方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术。
➡️
