扩散模型中的泛化源于几何自适应的谐波表示
原文中文,约600字,阅读约需2分钟。发表于: 。通过基于分数的逆扩散算法生成的高质量样本提供了证据,表明尽管遭受维度灾难的困扰,用于降噪训练的深度神经网络(DNN)可以学习高维密度。然而,关于训练集记忆化的最近报导引发了一个问题,即这些网络是否正在学习数据的 “真实” 连续密度。在本文中,我们展示了在非重叠的数据集子集上训练的两个降噪 DNN 学习到几乎相同的评分函数,从而学习到相同的密度,并且只需要非常少的训练图像。这种强大的泛化表明...
本文研究了DNN在降噪训练中的学习能力,通过逆扩散算法生成高质量样本,证明DNN可以学习高维密度。研究表明,DNN架构和训练算法中的归纳偏差与数据分布的特性相一致,且在训练于低维流形等图像类别的情况下,这些经过训练的去噪器也会生成几何自适应谐波表示。当在已知最优基础为几何自适应谐波的常规图像类别上进行训练时,网络的去噪性能接近最优。