量子位 ·

视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好

💡 原文中文，约2500字，阅读约需6分钟。

📝

内容提要

卡内基梅隆大学提出的Run-Length Tokenization（RLT）方法通过合并重复图像块，显著提高视频生成模型的训练和推理速度，训练时间减少30%，推理时间减少67%，且精度损失极小，特别适用于高帧率和长视频。

🎯

🔎

Run-Length Tokenization（RLT）方法在视频生成领域展现出显著的优势，尤其适用于高帧率和长视频。通过合并重复图像块，RLT不仅提高了训练和推理速度，还在精度损失极小的情况下实现了更高的效率。这使得RLT在需要快速处理大量视频数据的应用场景中，具有很大的潜力。

与传统的剪枝方法相比，RLT在精度损失上表现更为优越。传统方法通常在精度下降0.1-0.5个百分点的情况下，仅能实现10-20%的加速，而RLT则在精度损失不超过0.1个百分点的前提下，训练时间减少30%。这种高效性使得RLT成为视频生成模型加速的更佳选择。

RLT的实现涉及对视频进行分块和相似性判断，这一过程虽然复杂，但通过有效的算法设计，能够在不改变模型结构的情况下，显著减少输入token数量。这种技术实现的复杂性需要在实际应用中加以考虑，确保在不同数据集上都能保持良好的效果。

❓

RLT方法通过合并重复图像块，显著提高视频生成模型的训练和推理速度，训练时间减少30%，推理时间减少67%，且精度损失极小。

RLT通过将时间上重复的图像块合并为一个token，并使用位置编码表示token的长度，从而减少输入的token数量。

RLT在高帧率数据集中的效果更明显，对于30fps的视频，加速可达100%。

RLT在精度损失极小的情况下实现更好的加速效果，而传统剪枝方法在精度下降0.1-0.5个百分点的情况下，加速只有10-20%。

在训练阶段，RLT对ViT-B和ViT-L模型的训练时间分别减少到10.2小时和15.4小时，精度损失不超过0.1个百分点。

RLT首先对视频进行分块，比较相邻图像块的相似性，合并静态重复的图像块，并为保留的token添加长度编码。

🏷️