💡
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
加州大学伯克利分校等机构联合制作的《猫和老鼠》AI短片引发关注。该短片利用测试时训练（TTT）层生成，展示了复杂的动态故事。研究者使用预训练的Diffusion Transformer生成了一分钟的连贯视频，展示了AI在动画创作中的新进展。
🎯
关键要点
- 加州大学伯克利分校等机构联合制作的《猫和老鼠》AI短片引发关注。
- 短片利用测试时训练（TTT）层生成，展示了复杂的动态故事。
- 研究者使用预训练的Diffusion Transformer生成了一分钟的连贯视频。
- 短片包含五集，每集都是全新的故事。
- 所有视频由模型一次性直接生成，没有进行任何二次编辑。
- TTT层是专门的RNN层，使用梯度下降更新，集成到预训练的Diffusion Transformer中。
- 研究者开发了一种片上张量并行算法以高效实现TTT-MLP内核。
- 研究者从预训练的DiT模型开始，添加TTT层并进行微调以生成一分钟视频。
- 研究者策划了一个基于《猫和老鼠》的文本到视频数据集，强调复杂、多场景和动态运动的长篇故事。
- TTT层生成的视频在连贯性和复杂动态故事讲述上优于其他基线模型。
- TTT-MLP存在一些瑕疵，如时间一致性、运动自然性和美学问题。
❓
延伸问答
《猫和老鼠》AI短片是由哪些机构制作的？
该短片由加州大学伯克利分校、斯坦福大学和英伟达等机构联合制作。
短片是如何生成的？
短片利用测试时训练（TTT）层生成，所有视频由模型一次性直接生成，没有进行任何二次编辑。
TTT层在视频生成中有什么优势？
TTT层生成的视频在连贯性和复杂动态故事讲述上优于其他基线模型。
短片包含多少集，每集讲述什么？
短片包含五集，每集都是全新的故事，展示了复杂的动态情节。
TTT-MLP存在什么瑕疵？
TTT-MLP存在时间一致性、运动自然性和美学等方面的问题。
研究者如何评估生成视频的质量？
研究者通过与Mamba 2、Gated DeltaNet等基线模型的对比，评估TTT层生成视频的连贯性和故事复杂性。
➡️
