生成对抗网络中极小 - 极大优化问题的高斯 - 牛顿方法
内容提要
本文探讨了生成式对抗网络（GAN）的优化问题，提出将其转化为广义变分不等式的方法，并引入新的目标函数以解决模式塌陷和生成多样化问题。研究展示了基于ADAM和RMSprop的二阶梯度方法及ZO-Min-Max框架在黑盒环境下的应用，证明了这些方法在GAN训练中的优势和收敛性。
延伸解读
GAN优化与变分不等式的联系
文章将GAN的极小极大优化转化为广义变分不等式，并借鉴数学规划中的平均、外推等方法扩展了变分不等式优化技术。这一视角把GAN训练与凸优化中的原始-对偶次梯度方法联系起来，为理解GAN的收敛行为提供了新框架。
GDA-AM框架的加速与收敛
GDA-AM利用Anderson混合算法加速梯度下降-上升（GDA）的收敛，解决了同时使用GDA时的发散问题。理论证明在较温和条件下可实现二次问题的全局收敛，并改进GAN训练。这为GAN优化提供了一种有理论保证的加速方案。
二阶梯度方法的优势
基于ADAM和RMSprop的二阶梯度方法用于GAN训练，无需解线性系统或添加混合二阶导数项，与一阶方法相比生成图像质量更好，且Inception分数相当。这降低了二阶方法的应用门槛，同时保持了生成质量的提升。
黑盒环境下的鲁棒优化
ZO-Min-Max框架采用零阶梯度估计与交替投影随机梯度下降-上升方法，解决黑盒环境下的有约束鲁棒优化问题。研究探索了黑盒最小-最大优化与对抗机器学习中逃避和污染攻击的联系，实证评估显示了方法的有效性和可扩展性。
Q&A
如何将生成式对抗网络的优化问题转化为广义变分不等式？
通过借鉴数学规划方法，使用平均、外推等技术，将GAN优化问题转化为广义变分不等式。
新提出的目标函数如何解决模式塌陷问题？
新的目标函数通过改进训练过程，有效地解决了模式塌陷和生成多样化的问题。
GDA-AM优化框架的优势是什么？
GDA-AM框架利用Anderson混合算法加速收敛，并在较温和条件下实现全局收敛，解决了发散问题。
基于ADAM和RMSprop的二阶梯度方法有什么优势？
该方法无需解线性系统或添加混合二阶导数项，生成图像质量更好，且可比较的Inception分数。
ZO-Min-Max框架在黑盒环境下的应用是什么？
ZO-Min-Max框架用于解决有约束的鲁棒优化问题，探索黑盒最小-最大优化与攻击之间的联系。
Chekhov GAN训练方法的核心思想是什么？
Chekhov GAN将GAN训练视为零和博弈中的混合策略，结合在线学习的思想，理论和实践证明其收敛性。
