利用丰富上下文条件扩散模型提升故事可视化一致性

提出了一种新颖的上下文扩散模型（ContextDiff），通过文本与视觉样本的交互提升跨模态条件建模。

ContextDiff 在文本到图像生成和文本到视频编辑任务中实现了最先进的性能，增强了文本条件与生成样本之间的语义对齐。

基于语义条件扩散网络（SCD-Net）的图像字幕生成模型有效捕捉离散单词间的依赖性，并在 COCO 数据集上表现良好。

引入了一种新的视频生成方法，通过整合语义和动作线索显著提升视频质量和语义连贯性。

提出了一种自适应上下文建模的方法，改进文本到图像生成模型，提升视觉化故事生成的全局一致性。

基于自回归扩散模型和视觉记忆模块的方法实现了高质量的故事一致帧画面生成。

渐进条件扩散模型（PCDMs）通过三个阶段生成高质量、高保真的综合图像。

使用潜在扩散模型和自编码器的框架 VidRD 实现文本到视频生成，获得良好结果。

提出的 StoryDiffusion 框架能够生成丰富内容的一致图像或视频，描述基于文本的故事。

局部-全局上下文引导的视频扩散模型（LGC-VD）在视频生成方面表现优异。

介绍了连续条件扩散模型（CCDMs），专为高维数据的分布估计设计，克服了现有模型的限制。