OpenAI的新型文本到视频模型Sora可以生成高度逼真的视频，利用大数据和计算力进行训练，使用Diffusion Transformer模型预测视频的下一段内容。Sora降低了测试电影理念的成本，扩大了可以制作视频的人的范围。
该文介绍了一种基于Transformer的文本到视频模型，使用U-Net从噪音版本重构图像，并使用GPT2在UCF101数据集上进行测试，展示其能够生成有希望的视频。
该文介绍了一个新的、具有挑战性的多任务基准——StoryBench，用于评估文本到视频模型。该基准包括三个逐渐增加难度的视频生成任务，并为人工评估视频故事建立了指南。强调了对于视频生成而言更好的自动度量指标的需求，该基准旨在鼓励未来在这个令人兴奋的新领域中的研究。
本文介绍了AI WebTV的构建过程，展示了自动视频和音乐合成的最新进展。它使用开源的文本到视频模型，如Zeroscope和MusicGen，以娱乐和易于访问的方式展示生成的视频。文章还介绍了AI WebTV的架构和实现过程，包括使用NodeJS和TypeScript实现，使用Hugging Face上的各种服务，以及调用视频链和广播流的方法。此外，文章还提供了一些生成的内容的示例，并讨论了一些观察结果和未来的工作。
完成下面两步后，将自动完成登录并继续当前操作。
