统一transformer与diffusion！Meta融合新方法剑指下一代多模态王者
内容提要
本文介绍了一种名为Transfusion的多模态模型训练方法，可以在离散和连续数据上进行训练。通过训练单个模型来预测离散文本token和扩散连续图像，实现了两种模态的完全集成。实验结果表明，Transfusion的扩展能力优于其他方法，并且可以生成与扩散模型和语言模型相媲美的图像和文本。该方法在基准测试中表现优秀，是一种有前途的多模态模型训练方法。
延伸解读
Transfusion 如何统一离散与连续模态
Transfusion 的核心创新在于用单个 transformer 同时处理离散文本 token 和连续图像 patch，并分别应用语言建模损失和扩散损失。与将图像量化后训练语言模型的方法不同，Transfusion 避免了量化带来的信息丢失，同时通过模态特定的轻量级编码解码层保持高效。这种设计让模型在共享参数的同时，能够灵活适应不同模态的特性。
注意力机制的双重设计
Transfusion 在注意力机制上结合了因果注意力和双向注意力：序列中的每个元素使用因果注意力，确保文本生成不泄露未来信息；而每个图像内部则使用双向注意力，允许图像 patch 之间充分交互。这种混合注意力模式既保留了语言模型的自回归特性，又满足了图像建模对全局信息的需求，是统一多模态模型的关键技术之一。
扩展性与性能表现
实验表明，Transfusion 的扩展能力优于基于量化图像 token 的方法（如 Chameleon），在多个基准测试中表现出更好的扩展规律。一个 7B 参数、在 2T 多模态 token 上训练的 Transfusion 模型，在 GenEval 基准上优于 DALL-E 2 和 SDXL，同时文本生成性能与 Llama 1 相当。这证明了单一模型同时处理图像和文本生成的可行性。
实际应用与未来方向
经过微调的 Transfusion 模型可以执行图像编辑任务，例如根据指令移除图像中的特定物体。这表明统一多模态模型不仅能生成内容，还能理解和修改现有图像。尽管目前仍处于研究阶段，但 Transfusion 为下一代多模态模型提供了有前景的训练范式，未来可能进一步扩展到视频、音频等更多模态。
Q&A
Transfusion模型的主要创新是什么？
Transfusion模型的主要创新是能够在共享数据和参数的基础上，对不同模态使用单独的损失函数，从而实现离散和连续模态的完全集成。
Transfusion如何处理离散和连续数据？
Transfusion通过训练单个模型来同时预测离散文本token和扩散连续图像，实现了两种模态的完全集成。
Transfusion在基准测试中的表现如何？
在GenEval基准测试中，Transfusion模型优于DALL-E 2和SDXL，并在文本基准测试中表现出色。
Transfusion模型的参数规模有多大？
Transfusion模型的参数规模可以扩展到70亿，并能够处理2万亿多模态token。
Transfusion模型如何结合语言模型和扩散模型？
Transfusion结合了语言模型的损失函数与扩散模型，通过在混合模态序列上训练单个transformer来实现。
经过微调的Transfusion模型可以执行哪些任务？
经过微调的Transfusion模型可以执行图像编辑任务，例如将纸杯蛋糕从盘子中移除。
