LaVie是一个整合的视频生成框架，利用预训练的文本到图像模型生成高质量的文本到视频模型。LaVie通过时间自注意机制和联合图像-视频微调生成逼真且时间连贯的视频，并保留预训练模型的创造性。经实验证明，LaVie在性能上表现出色，适用于长视频生成和个性化视频合成应用。

这篇文章介绍了StoryBench，一个用于评估文本到视频模型的多任务基准。基准包括三个难度逐渐增加的视频生成任务，并展示了使用现有视频标题算法生成的数据进行训练的好处。文章还强调了对于视频生成而言更好的自动度量指标的需求。

Sora通过引入感知逼真度和创新价值重新定义了视觉内容的创建方式，扩展了用户使用文本到视频模型的意愿的理解。研究结果表明，感知逼真度和创新价值是最具影响力的驱动因素。模糊集定性比较分析识别出五种推动高和低使用意愿的配置。该研究为开发者和营销人员提供了有价值的见解，为推广文本到视频模型的广泛采用提供了指导。

研究人员发现文本到视频模型中时间注意力模块的冗余性，并提出了F3-Pruning修剪策略，可加速推断过程，保证质量，适用于不同数据集。

该文介绍了一种基于Transformer的文本到视频模型，使用U-Net从噪音版本重构图像，并使用GPT2在UCF101数据集上进行测试，展示其能够生成有希望的视频。

该文介绍了一个新的、具有挑战性的多任务基准——StoryBench，用于评估文本到视频模型。该基准包括三个逐渐增加难度的视频生成任务，并为人工评估视频故事建立了指南。强调了对于视频生成而言更好的自动度量指标的需求，该基准旨在鼓励未来在这个令人兴奋的新领域中的研究。