BriefGPT - AI 论文速递
·
SCAN: A Contrastive Pre-training Initialization Method for Data Efficiency
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种动态数据集修剪方法，解决了对比预训练中的数据效率问题。实验结果表明，该方法在多个下游数据集上优于传统静态选择方法。
🎯
关键要点
- 本研究提出了一种动态数据集修剪方法，解决了对比预训练中的数据效率问题。
- 实验结果表明，该方法在多个下游数据集上优于传统静态选择方法。
- 使用该方法的预训练模型性能几乎未受影响，且在转化后的核心集的下游性能上显著提高。
➡️
