BriefGPT - AI 论文速递
·
从数据压缩角度测量数据修剪中样本重要性
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
通过比较不同方法的数据质量评估，发现困惑度方法在去除噪声和提升数据集质量方面效果好。只使用原始训练数据的30%进行训练，能改进基准模型，为筛选高质量数据集提供新方法。预训练数据的大部分可删除而保持性能。
🎯
关键要点
- 通过比较不同方法的数据质量评估，发现困惑度方法在去除噪声和提升数据集质量方面效果好。
- 只使用原始训练数据的30%进行训练，能改进基准模型。
- 为筛选高质量数据集提供新方法。
- 预训练数据的大部分可删除而保持性能。
➡️
