💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
AIxiv专栏探讨了大语言模型预训练数据选择的重要性，提出了数据管理器DataMan，通过14个质量维度对数据进行评分和领域识别。研究表明，使用DataMan筛选的数据显著提升模型性能，胜率最高达78.5%。
🎯
关键要点
- AIxiv专栏探讨大语言模型预训练数据选择的重要性。
- 提出数据管理器DataMan，通过14个质量维度对数据进行评分和领域识别。
- 使用DataMan筛选的数据显著提升模型性能，胜率最高达78.5%。
- 现有数据选择方法依赖于有限的启发式和人类直觉，缺乏明确指导方针。
- 提出逆向思维概念，通过提示LLMs自我识别质量标准来指导数据选择。
- 分析文本困惑度异常，提炼出13个与文本质量相关的标准。
- 构建综合评分体系，验证质量标准有效性与人类评分一致性超过95%。
- DataMan模型对SlimPajama语料库进行标注，创建用于模型微调的数据集。
- 使用不同的数据选择方法从DataPajama中选择30B token的子集进行实验。
- 实验验证DataMan方法有效性，模型在多个下游任务上表现优异。
- 使用DataMan选择的数据训练模型在语言建模和任务泛化能力上优于基线模型。
- 在医学、法律和金融领域进行继续预训练以得到领域特定的模型。
- 探究数据量对模型性能的影响，发现更大的数据集提升了模型性能。
- 分析困惑度与上下文学习性能之间的关系，发现域不匹配和任务复杂性是主要原因。
➡️
