量子位
·
视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
卡内基梅隆大学提出的Run-Length Tokenization（RLT）方法通过合并重复图像块，显著提高视频生成模型的训练和推理速度，训练时间减少30%，推理时间减少67%，且精度损失极小，特别适用于高帧率和长视频。
🎯
关键要点
- 卡内基梅隆大学提出的Run-Length Tokenization（RLT）方法显著提高视频生成模型的训练和推理速度。
- RLT方法通过合并重复图像块，训练时间减少30%，推理时间减少67%。
- RLT特别适用于高帧率和长视频，30fps视频的训练速度可提升1倍，长视频训练token减少80%。
- 与传统剪枝方法相比，RLT在精度损失极小的情况下实现更好的加速效果。
- RLT的核心原理是将时间上重复的图像块合并为一个token，并使用位置编码表示token的长度。
- 在训练阶段，RLT对ViT-B和ViT-L模型的训练时间分别减少到10.2小时和15.4小时，精度损失不超过0.1个百分点。
- 在推理阶段，RLT能将计算量和延迟降低30-60%，且精度损失不超过0.5个百分点。
- RLT在高帧率数据集中的效果更明显，30fps的视频加速可达100%。
❓
延伸问答
Run-Length Tokenization（RLT）方法的主要优势是什么？
RLT方法通过合并重复图像块，显著提高视频生成模型的训练和推理速度，训练时间减少30%，推理时间减少67%，且精度损失极小。
RLT方法如何处理重复图像块？
RLT通过将时间上重复的图像块合并为一个token，并使用位置编码表示token的长度，从而减少输入的token数量。
RLT在高帧率视频中的表现如何？
RLT在高帧率数据集中的效果更明显，对于30fps的视频，加速可达100%。
与传统剪枝方法相比，RLT的表现如何？
RLT在精度损失极小的情况下实现更好的加速效果，而传统剪枝方法在精度下降0.1-0.5个百分点的情况下，加速只有10-20%。
RLT方法在训练阶段的具体效果如何？
在训练阶段，RLT对ViT-B和ViT-L模型的训练时间分别减少到10.2小时和15.4小时，精度损失不超过0.1个百分点。
RLT方法的实现步骤是什么？
RLT首先对视频进行分块，比较相邻图像块的相似性，合并静态重复的图像块，并为保留的token添加长度编码。
➡️
