混元 - DiT：一种具有细粒度中文理解能力的强大多分辨率扩散变压器
内容提要
本文介绍了多种新型文本到图像模型的开发，包括中英双语的 Taiyi-Diffusion-XL 和支持18种语言的 AltDiffusion。这些模型在图像生成和检索方面表现优异，尤其在文化特定概念理解上。此外，研究提出了 Diffusion Vision Transformers 和自监督预训练的文档图像变压器 DiT，均在多个任务中取得了最佳结果。还介绍了 De-Diffusion 方法和 TextCraftor 技术，显著提升了图像生成质量和效率。
延伸解读
中文文本到图像生成的关键进展
文章介绍了 Taiyi-Diffusion-XL 和 AltDiffusion 等模型，它们分别支持中英双语和18种语言，填补了开源模型对中文及多语言支持的缺口。这些模型在文化特定概念理解上表现优异，表明文本到图像生成正从英语中心向多语言包容发展，为中文用户提供了更贴合本土文化的生成工具。
扩散变压器架构的多样化探索
DiffiT 和文档图像变压器 DiT 展示了扩散模型与 Transformer 架构结合的潜力。DiffiT 在条件与无条件图像合成任务中取得最新基准，而 DiT 通过自监督预训练在文档图像分类、布局分析等任务中达到最佳结果。这反映了扩散模型正从图像生成向更广泛的视觉理解任务扩展。
文本作为跨模态接口的新思路
De-Diffusion 方法将图像表示为文本，利用自然语言的可解释性和灵活性，通过自动编码器将图像转换为文本，再经文本到图像扩散解码器重构。实验证实了这种文本表示的精确性和综合性，使其能被一般文本到图像工具和 LLMs 接收，为多模态任务提供了新途径。
提升生成质量与效率的技术
TextCraftor 通过微调 CLIP 文本编码器增强 Stable Diffusion，在定量基准和人类评估中均实现显著改进，并支持通过插值不同奖励的编码器进行可控生成。同时，无限超分模型采用单向注意力和 DiT 结构，在生成 4096x4096 图像时比 UNet 节省超过 5 倍内存，兼顾了高质量与高效率。
Q&A
Taiyi-Diffusion-XL 模型的主要特点是什么？
Taiyi-Diffusion-XL 是一种中英双语文本到图像模型，表现优异，填补了双语或中文支持的缺口。
AltDiffusion 模型支持多少种语言？
AltDiffusion 是一种支持 18 种语言的多语种 T2I 扩散模型。
Diffusion Vision Transformers 的优势是什么？
Diffusion Vision Transformers 在多个条件和无条件综合任务中取得了最新的基准成绩，生成高保真度图片。
DiT 模型在视觉文档 AI 任务中表现如何？
DiT 模型在文档图像分类、布局分析、表格检测和 OCR 的文本检测等任务中取得了最佳结果。
De-Diffusion 方法的主要功能是什么？
De-Diffusion 方法通过将图像表示为文本，提升了图像生成的精确性和综合性。
TextCraftor 方法如何提升图像生成质量？
TextCraftor 方法增强了 Stable Diffusion 的 CLIP 文本编码器，实现了显著的生成质量提升。
