ViT在DDPM取代UNet(DiT)

本文探讨了用ViT替代DDPM中的UNet，提出了Diffusion Transformer-DiT模型。作者训练了四种不同大小的DiT模型，研究了补丁大小、变压器架构和模型规模。模型通过处理补丁序列进行操作，并在设计中加入去噪步数和类别标签，最终输出噪声预测和协方差。