理解扩散模型的泛化能力需要重新思考隐含的高斯结构
原文中文，约500字，阅读约需2分钟。发表于：。本研究探讨了扩散模型的泛化能力，特别关注学习的评分函数的隐藏属性。我们发现，随着扩散模型从记忆转向泛化，其对应的非线性扩散去噪器表现出越来越强的线性特征。这一发现表明扩散模型在数据生成时具有捕捉和利用训练数据集高斯结构的倾向，这在模型容量相对较小时更为明显。
研究表明，深度神经网络（DNN）在降噪训练中能够有效学习高维密度，尽管面临维度灾难。通过在不同数据集上的训练，DNN展现出强大的泛化能力，学习到相似的评分函数和密度。分析显示，去噪器在适应图像时执行收缩操作，揭示了振荡谐波结构。这些结果表明，DNN在归纳偏差方面具有偏好，并在已知基础上训练时接近最优性能。
