Diffusion U-Net 中的免费午餐

原文约300字,阅读约需1分钟。发表于:

我们利用扩散 U-Net 的潜力,提出了一种名为 “FreeU” 的简单而有效的方法,通过重新加权 U-Net 的跳跃连接和骨干特征图的贡献,结合两个组件的优势,大大提高了生成质量。

该研究提出了一种基于Vision Transformers构建的U-ViT架构,采用标记方法对所有输入进行处理,并在浅层和深层之间采用长跳过连接,实现无条件和类条件图像生成,以及文本到图像生成任务的优化。长跳过连接对于基于扩散的图像建模至关重要,而CNN-based U-Net中的下采样和上采样算子并非总是必要的。

相关推荐 去reddit讨论