本研究提出了一种迭代摊销推理机制，旨在解决多模态变分自编码器在推断缺失模态时的信息损失问题。该方法通过迭代优化单模态推理，显著提升了推理性能和跨模态生成质量，实验结果表明分类准确性和生成效果均有显著提高。

本文提出了一种新颖的上下文扩散模型（ContextDiff），通过文本与视觉样本的交互，提升了文本到图像生成和视频编辑的性能。研究还介绍了基于语义条件扩散网络的图像字幕生成模型和视频生成新方法，均在多个数据集上取得了优异表现，推动了跨模态生成技术的发展。

本文提出了一种基于转换器的音视频潜在扩散模型，能够在任务不可知的情况下进行音视频生成。通过优化跨模态生成框架和深度生成对抗训练，研究显示在语音质量和生成一致性方面有显著改进，尤其在低信噪比条件下表现优越。

多模态大模型发展迅速，代表性模型包括：NExT-GPT可任意组合生成文本、图像、视频和音频；SpeechGPT具备语音与文本跨模态对话能力；MultiModal-GPT支持多模态指令连续对话；ShapeGPT处理文本到形状生成与编辑；AnyMAL统一推理文本、图像、视频、音频和运动信号；PandaGPT连接视觉与听觉进行跨模态生成；AudioGPT处理语音、音乐和声音任务；MotionGPT用多模态信号生成人体动作；MV-GPT实现多模态视频说明生成。

该文综述扩散模型在文本生成图像及编辑领域的研究进展，涵盖文本对齐、风格迁移、文字涂鸦、推理加速、指导策略比较、少样本生成、跨模态统一框架、编辑式生成、自监督文本编辑及定制化图像编辑。

该文综述了图像字幕生成的多项研究：GRIT用纯Transformer融合区域与网格特征；GIT统一视觉语言任务并在12项基准领先；VC-GPT联接视觉编码器与语言解码器；VisualGPT利用预训练语言知识实现数据高效；ViTCAP用网格表示和概念令牌网络简化结构；XGPT实现跨模态生成预训练。

该文综述视觉与触觉多模态表示学习研究，涵盖：以自监督学习触觉—视觉紧凑表示提升高维输入控制策略的样本效率，并在仿真与真实机器人实验中验证鲁棒性与泛化能力；利用条件生成对抗网络实现视觉与触觉图像跨模态生成；提出掩码多模态学习（M3L）联合学习策略与表示；融合视觉和触觉反馈预测动态场景物体运动；结合内部数据属性与跨模态语义的对比损失改进视觉表示；提出触觉适应视觉奖励框架TAVI；提出深度最大协方差分析（DMCA）学习共享潜在空间实现纹理识别；从多视角无标注视频演示中学习视觉表示；将触觉传感引入视频预测模型。

研究人员提出了DiffDis，一种将跨模态生成和辨别预训练统一到一个框架中的方法。DiffDis通过融合噪声文本嵌入和不同尺度的潜在图像知识，提出了一种新颖的双流网络架构，用于解决图像-文本辨别任务。实验结果表明，DiffDis在图像生成和图像-文本辨别任务上优于单一任务模型。