一种基于期望最大化算法的从损坏观测中训练清洁扩散模型
内容提要
本文探讨了期望最大化算法和扩散模型的应用，包括图像去模糊、缺失数据填补和逆问题解决。提出的DiffPuter方法在多个数据集上表现优越，MAE和RMSE显著改善。LatentDEM框架在2D和3D逆渲染任务中展现高效性，并提出了环境扩散后验采样方法，用于从嘈杂数据中获取未污染样本，应用于图像修复和MRI模型训练。
延伸解读
EM与扩散模型结合的核心思路
文章多次提到利用期望最大化（EM）算法训练扩散模型，以处理不完整或噪声观测。其核心是将缺失数据或损坏过程视为隐变量，在E步利用扩散模型推断隐变量，在M步更新模型参数。这种迭代框架使模型能够从受损数据中学习清洁分布，适用于图像去模糊、缺失值填补等逆问题。
DiffPuter在缺失数据填补上的表现
DiffPuter将缺失数据填补视为EM问题，通过扩散模型学习观测数据与当前估计缺失数据的联合分布，并迭代更新缺失值。与16种方法在10个数据集上的对比显示，其MAE平均改善8.10%，RMSE平均改善5.64%。这表明扩散模型与EM结合能有效提升填补精度。
LatentDEM与A-DPS的扩展应用
LatentDEM在EM框架中利用潜在扩散先验解决盲逆问题，E步恢复清晰图像，M步估计前向算子，支持线性和非线性逆问题，并在2D盲去模糊和3D稀疏视图重建中验证。A-DPS则从线性损坏数据中学习，在CelebA等数据集上，其速度和性能有时超过干净数据训练的模型，并成功应用于MRI加速重建。
环境扩散与隐私风险
文章提到一种从嘈杂训练数据中获取未污染样本的扩散模型训练框架，使用Tweedie公式和一致性损失。该框架还能识别几乎完美重建的极度受损图像，这提供了扩散模型记忆训练集的证据，引发版权和隐私担忧。通过微调Stable Diffusion XL，该方法可减少记忆量并保持有竞争力的性能。
Q&A
期望最大化算法在扩散模型中的作用是什么？
期望最大化算法用于处理不完整和噪声观测的逆问题，通过估计模型参数来优化扩散模型的性能。
DiffPuter方法的主要优势是什么？
DiffPuter方法在缺失数据填补方面表现优越，MAE平均改善8.10%，RMSE平均改善5.64%。
LatentDEM框架的应用场景有哪些？
LatentDEM框架可用于2D和3D逆渲染任务，支持线性和非线性逆问题。
环境扩散后验采样方法的优势是什么？
环境扩散后验采样方法能够从线性损坏的数据中学习，提升图像修复性能，并在速度和效果上优于在干净数据上训练的模型。
新型去噪扩散概率模型如何提升聚类性能？
新型去噪扩散概率模型结合EM框架，通过优化潜在表示学习，显著提高了聚类和无监督条件生成的性能。
高效动作扩散模型的特点是什么？
高效动作扩散模型通过建模复杂的去噪分布，实现快速高质量的人体动作生成，优化生成过程。
