理解扩散模型的泛化能力需要重新思考隐含的高斯结构

BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z

研究表明，深度神经网络（DNN）在降噪训练中能够有效学习高维密度，尽管面临维度灾难。通过在不同数据集上的训练，DNN展现出强大的泛化能力，学习到相似的评分函数和密度。分析显示，去噪器在适应图像时执行收缩操作，揭示了振荡谐波结构。这些结果表明，DNN在归纳偏差方面具有偏好，并在已知基础上训练时接近最优性能。