中科院与阿里团队提出RefineX框架，通过程序化编辑精炼预训练数据，有效去除噪声并保留文本多样性，使模型在多项任务中的得分提高7.2%。该方法以最小干预剥离噪声，确保数据质量和可靠性。

本研究探讨了地球观测中复杂数据的不确定性感知，提出了一种评估框架，展示了预训练数据在多标签分类和分割任务中的强泛化能力，为未来研究提供新视角。

本研究探讨了大语言模型中数据预处理与缩放法则的关系，发现预训练数据和分词器显著影响损失-损失缩放趋势，强调选择合适的预训练数据集对训练的重要性。

本研究探讨了多语言大语言模型在不同语言和任务中的提示翻译策略，评估了翻译质量和预训练数据规模对模型性能的影响，为选择最佳翻译策略提供了实用指南。

本研究提出了一种有效的机器忘记算法，旨在解决法律问题中对训练数据来源的关注。该算法能够在不显著影响模型性能的情况下删除训练数据，并在微调后更易忘记特定任务的预训练数据。

本文探讨了预训练数据构成对小型语言模型性能的影响，发现复杂数据集（如古腾堡项目）能显著提升模型表现，而儿童导向数据集效果较差，强调了数据集构成与模型容量的重要性。

本文研究了多语言和单语言模型的性能差异，强调预训练数据规模和专门分词器的重要性。研究表明，使用专门的单语言分词器可以显著提升多语言模型的下游性能。同时，评估多语言模型时需考虑资源可用性、语言家族和脚本类型的复杂关系，以优化模型选择和部署。

本文研究了语言模型性能与交叉熵损失的关系，发现损失与模型和数据集大小呈幂律关系。提出了时间缩放定律，探讨了预训练数据对下游性能的影响，并确认了扩展定律在大型模型中的有效性，为模型优化和预训练流程提供了指导。

本研究提出了一种基于庞特里亚金最大化原理的数据选择框架，旨在从大量语料中选择高质量的预训练数据。通过将问题形式化为广义最优控制问题，该框架加速了语言模型的学习，并提升了多项下游任务的表现。

本文研究了迁移学习的有效性，强调预训练数据的选择比数量更重要。提出了一种基于目标数据集的重要性权重的领域自适应方法，并在多个分类数据集上取得了优异结果。同时，探讨了迁移学习在小样本学习中的应用，比较了不同预训练模型的特征提取性能，为未来研究提供了指导。

本文研究了神经比例定律在自然语言处理中的应用，提出了SCALE框架，通过结合专用翻译模型和大型语言模型，显著提升了多语言神经机器翻译的效果，尤其在低资源环境中表现优异。此外，研究探讨了预训练数据选择对模型性能的影响，为未来模型开发提供指导。

大型语言模型中的幻觉是指生成的不忠实、捏造、不一致或无意义的内容。幻觉问题分为上下文幻觉和外部幻觉。为避免幻觉，需要确保模型输出真实，并承认不知道答案。幻觉的原因包括预训练数据问题和微调新知识。幻觉检测方法有FactualityPrompt、FacTool和SelfCheckGPT。改进模型的方法有RAG、FLAME和Factuality tuning。

本文研究了大语言模型的预训练数据污染问题，提出了检测方法和评估框架，强调数据管理的透明性和责任。研究表明，数据污染显著影响模型性能，并提出改进基准测试的最佳实践。