本研究提出了一种新方法，通过重要性加权评估大型语言模型的数据质量，发现过滤掉分布偏移较大的样本可提升模型推理能力，性能可与依赖外部监督的先进方法相媲美。

RMIX是解决超参数化神经网络中重要性加权方法效果不佳的框架，能更好地应对含不同子群比例的训练和测试分布的子群转移问题。RMIX利用混合样本上的重要性加权来获取更鲁棒的模型，并利用训练轨迹的不确定性估计来灵活地表征子群分布。理论分析验证了RMIX具有更好的广义化界限。