扩大领域泛化的特征支持重叠
内容提要
本文探讨了深度神经网络在未见域的预测可靠性，提出结合条件分布匹配的方法以避免假相关问题。研究了基于对抗训练的Domainwise Adversarial Training (DAT)方法，展示其在广义分布转移中的有效性，并提出不变特征子空间恢复（ISR）算法以解决域泛化问题，实验结果表明其在多个数据集上表现优异。
延伸解读
虚假相关性与域外风险
深度神经网络容易学习训练数据中的虚假相关性，导致在未见域上预测不可靠。文章指出，M. Arjovsky 等人将此类问题形式化为域外风险最小化，并引入不变风险最小化（IRM）。本文进一步为 IRM 提供理论验证，证明双层优化问题的解在一定条件下能最小化域外风险，并给出了训练数据分布和特征空间维度的充分条件。
从对抗训练到子空间恢复
为提升广义分布下的泛化能力，文章介绍了基于对抗训练的 Domainwise Adversarial Training (DAT)，借鉴 IRM 和对抗训练，在多种分布转移方案上表现良好。同时，不变特征子空间恢复（ISR）算法通过一阶和二阶矩识别不变特征子空间，在训练集为 d_s+1 时实现可证明的域泛化，避免了 IRM 的非凸性问题，并具有全局收敛保证。
有限环境与特征增强
在有限训练环境下，文章提出迭代特征匹配算法，保证在仅见 O(log(d_s)) 个环境后产生泛化性能良好的预测器。此外，特征增强训练（FAT）通过保留已学特征并增加新特征，强制模型学习所有有用特征，从而有效学习更丰富的特征并持续改善 OOD 性能。这些方法共同关注如何利用有限数据提升域泛化。
Q&A
深度神经网络在未见域的预测可靠性受到什么影响？
深度神经网络在未见域的预测可靠性受到虚假相关性的影响。
什么是Domainwise Adversarial Training (DAT)方法？
Domainwise Adversarial Training (DAT)是一种基于对抗训练的深度学习模型方法，用于解决深度学习模型在广义分布中的失败问题。
不变特征子空间恢复（ISR）算法的主要优点是什么？
ISR算法避免了非凸性问题，并具有全局收敛性保证，能够提高模型对假冗余和组偏差的准确性。
如何增强新算法的泛化能力？
通过提出基于条件熵最小化的框架，过滤混入的新特征，从而增强新算法的泛化能力。
特征增强训练（FAT）有什么作用？
特征增强训练（FAT）通过保留已学习的特征并增加新特征，强制模型学习所有有用特征，从而改善OOD性能。
文章中提到的超域泛化问题是如何解决的？
通过提出新的框架IRSS，引入对抗神经网络和多环境优化，逐渐将样式分布和虚假特征从图像中分离，实现超域泛化。
