无需标签：在协变量漂移下估算部署后模型性能的方法
内容提要
本文综述分布偏移下机器学习模型的校准与不确定性量化，涵盖基于标签转移的CE估计器（利用加权重要性实现一致估计）、贝叶斯与非贝叶斯方法评估（边缘化方法效果突出），以及重要性加权校准、SJS偏移模型与SEES框架、距离检查、BBSE检测矫正、后验正则化近似贝叶斯推断等方法，以提升性能估计与校准准确性。
延伸解读
从“标签转移”到“协变量漂移”：估计器的适用边界
文章提出的CE估计器基于标签转移假设，通过加权重要性调整源数据分布，实现对目标分布的一致且渐进无偏估计。但这一保证依赖于标签转移的设定，而文中同时讨论的协变量漂移场景（如重要性加权校准、SJS偏移模型）并不完全等同。读者需注意：当偏移主要来自输入分布而非标签条件时，该估计器的理论保证可能不直接适用，需结合其他方法判断。
性能估计不必依赖模型输出：距离检查的实用价值
在协变量漂移下，直接使用模型预测评估性能可能因模型本身不可信而失真。文章介绍的“距离检查”通过衡量测试样本与预期训练分布的距离来辅助性能估计，避免过度依赖模型输出。这提示实践者：当无法确认模型在目标域是否可靠时，可优先利用数据分布层面的信号进行交叉验证，而非仅看模型给出的置信度或预测结果。
校准与不确定性量化：多种方法并存，选择需看场景
文章综述了重要性加权校准、BBSE检测矫正、后验正则化近似贝叶斯推断等多种方法，分别针对校准、偏移检测和不确定性量化。其中贝叶斯与非贝叶斯评估显示，基于模型边缘化的方法在广泛任务中表现突出。读者应认识到这些方法并非互斥，实际部署中需根据偏移类型（标签转移或协变量漂移）、是否有未标记目标数据以及是否安全关键应用来组合使用，而非期待单一方法解决所有问题。
Q&A
在协变量漂移下，如何估计部署后模型的性能？
文章综述了多种方法，包括基于标签转移的CE估计器（利用加权重要性实现一致估计）、SJS偏移模型与SEES框架、距离检查、BBSE检测矫正等，这些方法旨在提高分布偏移下性能估计的准确性。
什么是基于标签转移的CE估计器？
CE估计器是一种基于标签转移的新型估计器，通过利用加权重要性重新调整标记源数据分布，实现对转移目标分布的一致且渐进无偏的CE估计，实验证明其有效性和可靠性。
SEES框架在分布偏移下有什么优势？
SEES是一种算法框架，基于新的分布偏移模型SJS，实验表明在各种数据集和分布偏移情况下，相比现有方法能显著提高分布偏移误差的估计精度。
如何检测和矫正分布偏移？BBSE方法是什么？
BBSE是一种基于黑盒预测器的分布偏移检测和矫正方法，通过降维并获得测试分布确定估计p(y)，在高维自然图像数据集上实现了准确的估计和预测改善。
协变量漂移下如何校准模型预测？
文章提到多种校准方法：基于重要性加权法纠正训练分布与实际分布的差异，并通过领域适应使两个分布尽可能一致；基于重要性采样的方法；以及基于后验正则化的近似贝叶斯推断，使用未标记目标数据作为伪标签调整损失。
贝叶斯和非贝叶斯方法在不确定性量化上哪个更好？
文章评估了现代机器学习中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。
