强化学习对图着色的应用：非标签不变表示的能力与限制
内容提要
该文汇总多项研究，探讨机器学习中的不变表示学习，涵盖图神经网络解决图着色、强化学习泛化、准确性与不变性的权衡、公平表示、因果模型、医学图像去偏、ReLEX算法、少数群体预测、函数逼近稳定性及算法公平可解释性等主题。
延伸解读
不变表示学习的多领域应用
文章汇总的研究显示，不变表示学习已应用于图着色、强化学习、公平性等多个领域。例如，图着色被转化为多类节点分类问题，并采用基于统计物理学的Potts模型进行无监督训练；强化学习中的泛化问题则通过不变策略优化（IPO）算法解决。这些案例表明，不变性原则正成为提升模型泛化性和公平性的通用思路。
准确性与不变性的权衡
文章指出，不变表示学习中存在准确性与不变性之间的权衡。一项研究通过信息论方法分析了这种权衡，并提出了几何特征来刻画分类和回归任务中准确性与不变性的Pareto最优边界。这意味着在实际应用中，追求更高的不变性可能会牺牲一定的准确性，需要根据任务需求找到平衡点。
虚假相关性的挑战与应对
在医学图像分类等任务中，虚假相关性可能导致不变表示学习失效。文章提到，当偏见不是性能不佳的唯一原因时，对表现不佳样本的泛化再加权可能存在问题，而朴素的不变表示学习在自身存在虚假相关性时也会遇到困难。为此，有研究提出利用鲁棒优化来促进不变表示学习，并在微调分类器时减少子组群性能差异，同时保持较高的平均性能和最差组群性能。
强化学习中的表示学习与稳定性
针对强化学习中函数逼近不稳定的问题，文章介绍了一种基于状态表示学习的解决方案。该研究分析了transition matrix、proto-value functions、krylov subspace等方案的适用范围与稳定性，并通过实验验证了可以使用随机梯度下降学习可靠的状态表示。此外，ReLEX算法通过学习表示和执行探索操作，在低秩MDPs类中提高了样本效率，且在表示具有覆盖性时严格优于无表示学习算法。
Q&A
如何利用图神经网络解决图着色问题？
将图着色视为多类节点分类问题，利用基于统计物理学的Potts模型的无监督训练策略，并在实际应用中展示了性能，提供了数值基准结果。
强化学习中如何提高泛化性能？
提出基于不变性原则的学习算法Invariance Policy Optimization (IPO)，能在训练中学习不变策略，在线性二次调节器、网格世界问题及机器人学习开门问题上表现出良好泛化性能。
不变表示学习中准确性和不变性如何权衡？
通过信息论方法分析最优权衡，并提出一种几何特征，可以限定或精确刻画分类和回归任务的准确性和不变性之间的Pareto最优边界。
如何无需对抗训练获得公平表示？
使用信息论优化能够直接获得可控转换的公平表示和生成建模的最新性能，无需对抗训练。
因果模型如何帮助学习不变表示？
使用因果模型学习具有近似不变性的表示方法，并展示了这种方法对于培训/测试分布转移具有对抗性的图形分类中的好处。
医学图像分类中偏见问题如何解决？
提出利用鲁棒优化促进在存在虚假相关性的情况下学习不变表示，微调的分类器能减少子组群性能差异，同时保持较高的平均性能和最差组群性能。
ReLEX算法在强化学习中有何优势？
ReLEX算法通过学习表示和执行探索操作，提高代表低秩MDPs类的效率，在方法上始终不劣于最先进的无表示学习算法，并且在表示能够对整个状态-动作空间具有一定的“覆盖性”时会严格提高样本效率。
如何利用部分敏感信息改善少数群体预测？
提出一种利用部分敏感信息训练深度神经网络并改善少数群体预测性能的方法。
强化学习中函数逼近不稳定问题如何解决？
提出基于状态表示学习的解决方案，分析transition matrix、proto-value functions、krylov subspace等方案的适用范围与稳定性，并通过实验验证可以使用随机梯度下降学习可靠的状态表示，从而提高深度网络对强化学习的表示学习技巧。
如何实现算法公平性的可解释性？
提出在数据领域学习不变表示的方法，采用对抗训练模型和null-sampling程序处理数据集中的强偏见，构建具有可解释性的模型，并在Colored MNIST、CelebA和Adult数据集上进行实验。
