AIxiv专栏探讨了大语言模型预训练数据选择的重要性,提出了数据管理器DataMan,通过14个质量维度对数据进行评分和领域识别。研究表明,使用DataMan筛选的数据显著提升模型性能,胜率最高达78.5%。
完成下面两步后,将自动完成登录并继续当前操作。