本文介绍了一种名为Transfusion的多模态模型训练方法,可以在离散和连续数据上进行训练。通过训练单个模型来预测离散文本token和扩散连续图像,实现了两种模态的完全集成。实验结果表明,Transfusion的扩展能力优于其他方法,并且可以生成与扩散模型和语言模型相媲美的图像和文本。该方法在基准测试中表现优秀,是一种有前途的多模态模型训练方法。
本文综述扩散模型在离散数据、文本、音乐、人体运动与轨迹生成等领域的应用。D3PM通过过渡矩阵提升字符级文本生成;DDIM将采样提速10至50倍;ShiftDDPMs、镜像扩散模型及LDIDPs改进条件建模与隐式采样;Diff-Traj和Traj-UNet实现高效轨迹预测,并在行人及自动驾驶数据集上达到先进水平。
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的生成模型。研究发现过渡矩阵的选择对生成结果至关重要,新损失函数在字符级别文本生成上表现良好。
完成下面两步后,将自动完成登录并继续当前操作。