通过方差实现泛化：噪声如何塑造扩散模型中的归纳偏差

本研究探讨了扩散模型如何超越训练集进行泛化的问题，尤其是阐明了去噪声评分匹配（DSM）目标的某些特性对泛化能力的影响。作者提出了一种数学理论，揭示了“通过方差实现泛化”的现象，并表明扩散模型学习到的分布与训练分布相似，但存在“间隙”，这种归纳偏差源于训练过程中使用的噪声目标的协方差结构。