在扩散模型中通过初始化保留图像属性
原文中文,约400字,阅读约需1分钟。发表于: 。零售摄影对图像有特定要求,包括统一的背景颜色、一致的模特姿势、居中的产品和一致的光照。当前应用的 Stable Diffusion 方法未能满足这些要求,而使用近似噪声图像作为推理初始化样本能够修复这一问题,并能提高扩散方法的可控性。
本文介绍了一种基于条件扩散模型的图像到图像转换框架,并在四个具有挑战性的任务中进行了测试。实验结果表明,该框架在各项任务上表现优于强 GAN 和回归基线,无需特定超参数调整或辅助技术。研究还揭示了L2和L1损失对扩散目标的影响,以及自我关注在神经结构中的重要性。作者提倡使用基于ImageNet的统一评估协议,以推进图像到图像翻译研究。最后,作者展示了通用多任务扩散模型的执行效果与任务特定的专家模型相当或更好。