AnyTrans：用大规模模型翻译图像中的任意文本
内容提要
本文介绍了基于扩散模型的多语言视觉文本生成模型 AnyText，利用 OCR 和扩散管道生成准确文本。研究了多语言文本到图像生成及神经机器翻译的作用，并提出 Ensemble Adapter 方案以提升性能。此外，探讨了交互式文本到图像生成（iT2I）与大语言模型（LLM）的结合，旨在改善人机交互体验和图像质量。
延伸解读
AnyText 的技术核心：OCR 与扩散模型结合
AnyText 模型将 OCR 模型与扩散管道结合，通过文本控制扩散损失和文本感知损失进行训练，以生成准确连贯的文本。这种设计针对视觉文本生成中的书写准确性问题，在评估实验中表现优异。对于需要生成包含特定文字图像的应用，如海报或广告设计，该方案提供了技术基础。
多语言文本生成中的翻译增强策略
针对多语言文本到图像生成（mTTI），研究提出了 Ensemble Adapter 方案，通过加权整合多语言文本知识来提升系统性能。同时，有工作采用多任务学习，将翻译作为辅助任务训练端到端文本图像翻译模型，利用大规模平行语料，实验证明翻译与识别任务互补。这些方法为跨语言图像生成提供了思路。
交互式文本到图像：降低功能扩展成本
交互式文本到图像（iT2I）任务允许用户通过自然语言与语言模型交互，生成、编辑和精炼高质量图片。研究提出一种简单方法，利用提示技术和现成 T2I 模型增强 LLMs 的 iT2I 能力，并在 ChatGPT、LLAMA 等模型上评估。结果表明，该方法能以低成本为现有 LLMs 和 T2I 模型引入新功能，且对 LLMs 固有能力影响较小。
多语言扩散模型的文化理解进展
AltDiffusion 是一种支持 18 种语言的多语种 T2I 扩散模型，在生成高质量图像方面优于现有模型，尤其在理解文化特定概念上表现突出。类似地，Taiyi-Diffusion-XL 作为中英双语模型，填补了开源领域对中文支持的空缺。这些进展表明，多语言扩散模型正逐步提升对文化语境的理解能力。
Q&A
AnyText 模型的主要功能是什么？
AnyText 模型基于扩散模型，结合 OCR 模型和扩散管道生成准确和连贯的文本。
Ensemble Adapter 方案的目的是什么？
Ensemble Adapter 方案旨在通过加权和整合多语言文本知识来改善多语言文本到图像生成系统的性能。
AltDiffusion 模型支持多少种语言？
AltDiffusion 模型支持 18 种不同语言。
交互式文本到图像生成（iT2I）有什么优势？
iT2I 允许用户与语言模型交互生成和编辑高质量图片，提升人机交互体验。
如何通过翻译辅助任务提升文本图像翻译的效果？
通过将翻译作为辅助任务进行多任务学习，可以利用大规模文本平行语料库，提升端到端文本图像翻译的效果。
AnyText 模型在视觉文本生成方面的表现如何？
AnyText 模型在视觉文本生成方面表现优异，经过评估实验验证了其准确性。
