基于扩散的文本到图像生成的可扩展性研究
内容提要
本文介绍了多种基于扩散模型的图像生成技术，包括通过缩放因子改善图像质量、简化模型以降低复杂度，以及引入多语言支持的AltDiffusion模型。研究表明，合成图像在训练分类器时表现不佳，但在特定条件下扩大合成数据规模有效。通过优化文本编码器，提升了文本图像生成的准确性，展示了多种潜在应用。
延伸解读
扩散模型的可扩展性优化方向
文章从多个角度探讨了扩散模型的可扩展性：通过缩放因子适应不同尺寸和长宽比的图像，改善低分辨率目标不完整和高分辨率重复表示的问题；通过降低模型大小和知识蒸馏，提出简化的Stable Diffusion XL模型（SSD-1B和Segmind-Vega），在保持高质量生成的同时减少模型大小；用Transformer替代U-Net骨干网络，以Gflops度量复杂度，DiT-XL/2在ImageNet基准上表现优越。这些工作共同指向在质量与效率之间寻求平衡。
多语言与轻量化生成技术
AltDiffusion支持18种语言，在生成高质量图像和理解文化特定概念方面优于现有T2I模型。去块知识蒸馏技术（BK-SDMs）从U-Net中移除残差和注意块，显著减少参数、MACs和延迟，使紧凑模型在零样本MS-COCO基准上能对抗更大的多十亿参数模型，并适用于个性化生成。这些进展表明，扩散模型正朝着更通用、更轻量的方向发展。
合成数据在训练中的表现与局限
研究发现，合成图像在训练监督图像分类器时性能较差，原因是某些概念无法被现成的文本到图像模型生成。然而，在与真实图像结合训练CLIP模型、真实图像供给不足或评估数据集与训练数据差异较大的情况下，扩大合成数据规模可能特别有效。这提示合成数据并非万能，其有效性高度依赖具体任务和数据条件。
文本图像生成的新方法与系统表征
UDiffText通过设计轻量级字符级文本编码器，以更强的文本嵌入作为条件，使用大规模数据集微调扩散模型，在字符级分割图监督下实现局部注意控制，从而在合成给定图像中的文本时获得高序列准确性，并展示了以文本为中心的图像合成、场景文本编辑等应用。此外，对多模态文本到图像和文本到视频工作负载的系统性能表征，是设计高效可部署系统的关键第一步。
Q&A
如何通过缩放因子改善图像生成的质量？
引入缩放因子可以适应各种尺寸和长宽比的图像，改善低分辨率图像的目标不完整和高分辨率图像的重复表示问题。
AltDiffusion模型有什么特点？
AltDiffusion是一种支持18种语言的多语种T2I扩散模型，在生成高质量图像方面表现优异，尤其在理解文化特定概念方面。
如何通过知识蒸馏技术简化扩散模型？
通过去块知识蒸馏技术，可以显著减少模型参数和延迟，使轻量级模型在个性化生成中更具适用性。
扩散模型在图像编辑和修复中的应用效果如何？
通过基于任务的方式压缩I2I模型，应用于图像编辑和修复任务，取得了满意的输出质量和显著减少的模型大小和延迟。
合成图像在训练分类器时的表现如何？
研究发现合成图像在训练监督图像分类器时表现较差，但在特定条件下扩大合成数据规模是有效的。
如何提高文本图像生成的准确性？
通过优化文本编码器，设计和训练轻量级字符级文本编码器，可以显著提高文本嵌入的准确性。
