阿里「轨迹可控版Sora」，告别「抽卡」，让视频生成更符合物理规律
内容提要
Tora是一种以轨迹为导向的扩散变换器（DiT）架构，可以生成具有不同分辨率和宽高比的高质量视频。它通过整合文本、视觉和轨迹条件来精确控制视频内容。Tora在平滑度、轨迹对齐和保真度方面优于其他方法。它使用轨迹提取器、时空DiT和运动引导融合器来生成视频。Tora展示了出色的运动保真度，能够准确模拟物理运动。它实现了高精度的轨迹对齐，并在视觉质量和保真度方面优于其他方法。
延伸解读
轨迹控制：从“抽卡”到“按图索骥”
传统视频生成模型常被戏称为“抽卡”，因为用户难以精确控制生成内容。Tora 通过引入轨迹条件，让用户能够指定物体运动路径，从而生成符合预期的视频。这种轨迹导向的方法提升了可控性，减少了随机性，使视频生成更符合物理规律，为创作者提供了更直观的编辑手段。
DiT 架构在长视频生成中的优势
文章指出，基于 U-Net 的传统方法在生成长视频时容易出现轨迹偏差、变形或物体消失。而 Tora 采用的 DiT 架构具备更好的可扩展性，在 128 帧测试中轨迹精度达到其他方法的 3 到 5 倍。这表明 Transformer 架构在处理长序列和保持运动一致性方面更具潜力，为未来视频生成模型的设计提供了方向。
运动引导融合：轨迹与视频生成的桥梁
Tora 通过轨迹提取器将轨迹编码为运动 patch，并利用运动引导融合器将其注入时空 DiT 块中。这种设计让轨迹信息与视频生成过程深度融合，而非简单叠加。实验显示，该方法在平滑度、轨迹对齐和保真度上优于对比方法，说明有效的条件融合机制对提升生成质量至关重要。
物理规律模拟：更真实的运动表现
文章强调 Tora 能细致模拟物理世界的运动，例如自行车场景中双腿的踩踏动作、灯笼的升降轨迹等。相比之下，部分对比方法出现腿部水平漂浮或物体变形等违反物理真实性的问题。这表明 Tora 在运动保真度上的优势，使其生成的视频不仅轨迹准确，而且动作更自然、更可信。
Q&A
Tora的主要功能是什么？
Tora是一种轨迹导向的扩散变换器，能够生成高质量的视频，精确控制视频内容。
Tora与传统U-Net方法相比有什么优势？
Tora在视频流畅度、轨迹对齐和运动保真度方面优于传统U-Net方法，能够更好地遵循物理规律。
Tora是如何生成视频的？
Tora通过轨迹提取器、时空DiT和运动引导融合器来生成视频，整合文本、视觉和轨迹条件。
Tora的轨迹提取器有什么作用？
轨迹提取器将轨迹转换为运动patch，使其与视频patch位于相同的潜在空间，从而实现更好的运动控制。
Tora在不同帧数下的表现如何？
Tora在不同帧数下表现出高稳健性，轨迹精度达到其他方法的3到5倍，运动控制能力卓越。
Tora的设计理念是什么？
Tora的设计理念是将文本、视觉和轨迹条件集成在一起，以实现对视频内容的精确控制。
