本文介绍了一种名为Transfusion的多模态模型训练方法,可以在离散和连续数据上进行训练。通过训练单个模型来预测离散文本token和扩散连续图像,实现了两种模态的完全集成。实验结果表明,Transfusion的扩展能力优于其他方法,并且可以生成与扩散模型和语言模型相媲美的图像和文本。该方法在基准测试中表现优秀,是一种有前途的多模态模型训练方法。
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的生成模型。研究发现过渡矩阵的选择对生成结果至关重要,新损失函数在字符级别文本生成上表现良好。
完成下面两步后,将自动完成登录并继续当前操作。