对分布变化下的无监督准确率估计进行梯度特征化
内容提要
该文综述分布偏移下机器学习模型的性能估计与适应问题，主要内容包括：提出基于领域不变性的预测模型以准确估计目标误差，用于模型选择与早期停机；提出全测试时间适应方法，利用替代熵与批次熵最大化正则化提升鲁棒性；给出基于表示学习与样本重加权的误差界；利用无标签测试数据推导误差上界并提出不一致损失；提出GradNorm梯度空间异常检测与基于梯度的不确定性度量；引入距离检查改进性能估计；通过分布鲁棒优化一次训练获得对多种标签偏移稳健的分类器；基于保形推断建立鲁棒预测集；并提出轻量级事后方法，通过验证集约束优化实现分布鲁棒分类。
延伸解读
从“估计不准”到“主动适应”的技术脉络
文章梳理了分布偏移下模型性能估计与适应的多条技术路线：早期工作侧重用领域不变性预测目标误差，服务于模型选择与早期停机；随后出现全测试时间适应，利用替代熵和批次熵最大化正则化提升鲁棒性；还有基于表示学习与样本重加权的误差界、利用无标签测试数据推导误差上界的不一致损失，以及GradNorm梯度空间异常检测和基于梯度的不确定性度量。这些方法从不同角度回应同一问题：测试分布变化时，模型输出不可全信，需要额外信号来估计或适应。
误差估计的两种思路：理论界与距离检查
文章提到两类互补的误差估计思路。一类借助无标签测试数据推导深度神经网络在分布转移下的误差上界，并提出“不一致损失”来获得较紧的估计，强调理论保证。另一类引入“距离检查”，考虑测试样本与预期训练分布的距离，避免依赖不可信任的模型输出进行准确度估计。前者偏重可证明的界，后者偏重利用输入空间的距离信号，读者可据此理解不同方法在假设与适用场景上的差异。
鲁棒分类的事后与一次性训练方案
针对标签偏移等分布变化，文章介绍了两类实用方案。其一是基于分布鲁棒优化的模型，通过梯度下降-近端镜像上升算法，一次训练获得对多种标签偏移稳健的单一分类器，并在CIFAR-100和ImageNet上展示性能提升。其二是极其轻量级的事后方法，在验证集上求解约束优化并应用于模型，以减小选定目标分布周围的分布鲁棒性损失，并带有可证明保证。两者分别对应“重训练”与“事后调整”的取舍。
不确定性度量与保形预测的补充价值
文章还纳入两类与性能估计相关的工作：基于反向传播梯度的神经网络不确定性度量，可判断模型是否遇到未知输入，具有较高检测准确性；以及基于保形推断的鲁棒预测集，通过估计数据漂移量建立鲁棒性，使预测集能覆盖测试数据分布。前者提供样本级的不确定性信号，后者给出集合式预测保证，二者共同说明：在分布偏移下，除了点预测准确率，不确定性刻画与覆盖保证也是评估模型可信度的重要维度。
Q&A
在分布变化下，如何准确估计无监督模型的准确率？
论文提出基于领域不变性的预测模型来估计目标误差，利用无标签测试数据推导误差上界，并引入“距离检查”避免依赖不可信的模型输出，从而在分布偏移下实现准确的性能估计。
测试时间适应有哪些改进方法可以提升模型鲁棒性？
论文提出全测试时间适应方法，使用替代熵和基于批次的熵最大化多样性正则化器，解决熵最小化的早期收敛和不稳定性问题，并通过学习输入变换模块在ImageNet-C等基准上提升鲁棒性。
如何检测分布偏移下的异常数据？
论文提出GradNorm方法，利用梯度空间信息检测异常数据，相比现有最佳方法可将平均误警率（FPR95）降低高达16.33%。
有哪些方法可以一次性训练出对多种标签偏移稳健的分类器？
论文提出基于分布鲁棒优化的模型，通过梯度下降-近端镜像上升算法一次训练获得对多种标签偏移稳健的单一分类器，在CIFAR-100和ImageNet上显著提升性能。
如何构建具有鲁棒性的预测集以应对数据分布变化？
论文基于保形推断建立鲁棒预测集，通过估计数据漂移量确保预测集准确覆盖测试数据分布，并在多个基准数据集上验证了有效性。
有没有轻量级的事后方法实现分布鲁棒分类？
论文提出一种轻量级事后方法，通过在验证集上求解约束优化问题并应用于模型，在测试时最小化选定目标分布周围的分布鲁棒性损失，具有可证明保证和实证效果。
