应用于强化学习的纠正误指的回归中减轻协变量变化
内容提要
该文综述协变量偏移下的鲁棒机器学习研究，涵盖稳定对抗学习（SAL）算法（利用异构数据源构建不确定性集并差异化优化，具有随机梯度优化下的性能保证）、最小二乘回归对协变量偏移的敏感性分析及预训练回归模型末层适应、解相关加权回归、基于最小充分统计量的鲁棒表征以及分布鲁棒优化分类器，实验验证了这些方法在分布偏移下的有效性。
延伸解读
从分类到回归：协变量偏移下的回归鲁棒性仍待探索
文章指出，尽管深度神经网络分类器在分布偏移下的鲁棒性已被广泛研究，但回归问题——即建模连续目标——的类似研究仍相对空白。作者回归第一性原理，分析最小二乘回归闭式解对协变量偏移的敏感性，并以源数据和目标数据的特征谱分解来刻画OLS模型的超出分布风险。这提示读者，回归任务中的协变量偏移问题需要专门的方法，不能简单套用分类领域的鲁棒性技术。
轻量级谱适应：仅调整末层权重即可提升分布外性能
基于对OLS敏感性的分析，作者提出一种方法，仅适应预训练神经回归模型的最后一层权重，使其在来自不同分布的输入数据上表现更好。这种轻量级的谱适应过程在合成和真实数据集上均改善了超出分布性能。对于实践者而言，这意味着无需重新训练整个模型，只需调整末层即可获得鲁棒性提升，降低了计算成本，但文章未说明该方法对更复杂网络结构的普适性。
多种鲁棒学习算法并存：SAL、DWR与分布鲁棒优化
文章综述了多种应对协变量偏移的算法：稳定对抗学习（SAL）利用异构数据源构建不确定性集并进行差异化优化，具有随机梯度优化下的性能保证；解相关加权回归（DWR）提高模型错误规范化和未知测试数据下的参数估计准确性与预测稳定性；基于分布鲁棒优化的分类器通过一次训练获得对多种标签偏移稳健的单一分类器。这些方法各有侧重，读者需根据具体任务（回归或分类）和数据条件选择。
Q&A
SAL算法是什么，它如何应对协变量偏移？
SAL（Stable Adversarial Learning）算法利用异构数据源构建更实用的不确定性集合，并针对与目标之间相关性稳定性进行差异化的强鲁棒性优化。在随机梯度优化下，该算法具有可行性和性能保证，实验验证了其在未知分布转移方面的有效性。
最小二乘回归对协变量偏移为什么敏感？
最小二乘回归的封闭形式解对协变量偏移敏感，因为其超出分布风险可由源数据和目标数据的特征谱分解来表征。这种敏感性导致模型在分布偏移下性能下降。
如何用轻量级方法适应预训练回归模型以应对分布偏移？
可以利用特征谱分解的洞察，仅适应预训练神经回归模型的最后一层权重。这种轻量级的谱适应过程能改善合成数据集和真实数据集的超出分布性能。
DWR算法有什么作用？
DWR（Decorrelated Weighting Regression）算法能够提高模型错误规范化和未知测试数据下的参数估计准确性和预测稳定性。
如何学习对协变量偏移鲁棒的因果表征？
基于最小充分统计量的信息理论概念，区分鲁棒表征和虚假表征，并采用分组分布式鲁棒优化方法来缓解输入分布偏移。实验表明该方法在图像和语言任务中具有显著的鲁棒性优势。
有没有一种分类器能同时应对多种标签偏移？
有，基于分布鲁棒优化的模型，通过梯度下降-近端镜像上升算法，一次训练即可获得对多种标签偏移都具有稳健性的单一分类器，在CIFAR-100和ImageNet上表现出显著性能提高。
