Training Implicit Generative Models via Invariant Statistical Loss
内容提要
该文综述生成模型训练研究，涵盖GAN与似然训练混合、密度比估计、隐式模型推断、群不变GAN样本复杂度、Lipschitz约束提升收敛稳定性，以及零中心梯度惩罚改善判别器泛化，推动生成模型理论与实践的统计保证。
延伸解读
理论保证的进展与局限
文章指出，尽管GAN在实证上成功，但其统计准确性的理论保证仍相对悲观。后续研究尝试在理论与实践中架起桥梁，例如推导基于数据固有维度和潜在空间的估计密度统计保证，以及为群不变GAN提供样本复杂度分析。这些工作推动了生成模型统计理论的发展，但整体上理论保证仍面临挑战，需要更多研究来弥合差距。
训练稳定性的技术改进
针对GAN训练中梯度缺乏信息导致的收敛问题，文章提到通过添加Lipschitz约束可以消除该问题，并提出了Lipschitz GANs（LGANs），实验证明其样本质量比Wasserstein GANs更高且更稳定。此外，零中心梯度惩罚策略被提出以改善判别器的泛化能力，保证GAN的收敛和泛化。这些技术改进从不同角度提升了训练稳定性。
隐式模型与混合训练方法
文章综述了将GAN视为隐式模型的方法，基于生成器和判别器的相互作用弱化显式似然评估，从而在有向无环图结构模型中实现贝叶斯后验推理和模型学习。同时，有研究提出在对抗网络与似然训练之间进行混合训练，使用深度可逆变换解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。这些方法拓展了生成模型的训练范式。
Q&A
生成对抗网络（GAN）的统计准确性有理论保证吗？
尽管GAN在实证上成功，但其统计准确性的理论保证仍相对悲观。有研究试图在理论和实践之间架起桥梁，通过推导关于估计密度的统计保证，以数据的固有维度和潜在空间为基础。
群不变GAN的样本复杂度如何随群体大小变化？
当学习群不变分布时，所需样本数量随着群体大小的幂次下降，这一幂次取决于分布支撑的固有维度。这是首次为群不变生成模型提供统计估计。
如何提高GAN训练的收敛稳定性？
通过添加Lipschitz约束可以消除由于梯度缺乏信息而导致的问题，由此提出的Lipschitz GANs（LGANs）在样本质量上比Wasserstein GANs更高且更稳定。
原始GAN的判别器泛化能力差怎么办？
原始GAN损失函数训练得到的鉴别器泛化能力较差，可以采用零中心梯度惩罚策略来改善鉴别器的泛化能力，并保证GAN的收敛和泛化。
如何结合对抗网络与似然训练来训练生成模型？
提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。
隐式生成模型如何进行推断？
有研究综述了现有算法之间的联系，包括变分自编码器、以对抗方式学习的推断、运算符变分推断、基于生成式对抗网络的图像重建等，提出了新的算法框架，并基于密度比估计或去噪等方法展示了实际的推断算法。
