本研究提出了一种新方法，通过重要性加权评估大型语言模型的数据质量，发现过滤掉分布偏移较大的样本可提升模型推理能力，性能可与依赖外部监督的先进方法相媲美。

本文综述分布偏移下机器学习模型的校准与不确定性量化，涵盖基于标签转移的CE估计器（利用加权重要性实现一致估计）、贝叶斯与非贝叶斯方法评估（边缘化方法效果突出），以及重要性加权校准、SJS偏移模型与SEES框架、距离检查、BBSE检测矫正、后验正则化近似贝叶斯推断等方法，以提升性能估计与校准准确性。

RMIX是解决超参数化神经网络中重要性加权方法效果不佳的框架，能更好地应对含不同子群比例的训练和测试分布的子群转移问题。RMIX利用混合样本上的重要性加权来获取更鲁棒的模型，并利用训练轨迹的不确定性估计来灵活地表征子群分布。理论分析验证了RMIX具有更好的广义化界限。