中科院与阿里团队提出RefineX框架，通过程序化编辑精炼预训练数据，有效去除噪声并保留文本多样性，使模型在多项任务中的得分提高7.2%。该方法以最小干预剥离噪声，确保数据质量和可靠性。

本研究提出了一种图信号自适应消息传递（GSAMP）方法，旨在解决在线预测、缺失数据填补和噪声去除问题。该方法通过局部计算显著提升了在高斯和脉冲噪声条件下的信号处理效果，展现了实际应用的潜在价值。

通过比较不同方法的数据质量评估，发现困惑度方法在去除噪声和提升数据集质量方面效果好。只使用原始训练数据的30%进行训练，能改进基准模型，为筛选高质量数据集提供新方法。预训练数据的大部分可删除而保持性能。