vid-TLDR: Untrained Free Token Merging for Lightweight Video Transformers
内容提要
本文介绍了多种优化 Transformer 模型的方法，包括使用 PatchMerger 模块以减少计算代价、LTMP 方法以降低输入符号数量，以及新的视频语言变换器 VIOLET。此外，研究还提出了高效的视频分解方法和时态扩张视频变换器 TDViT，显著提高了模型的推理速度和性能。
延伸解读
免训练压缩的实用价值
文中提到的快速无需训练压缩框架，能在不重新训练模型的情况下，将FLOPS减少至多2倍，推理吞吐量提升1.8倍，训练时间节省两个数量级。这对计算资源有限、无法承担大规模微调成本的团队尤其有用，但需注意其效果可能因模型结构而异，实际部署前应验证兼容性。
令牌合并与修剪的精度权衡
LTMP通过动态合并和修剪符号降低输入数量，保持最先进准确性，且仅需一个微调阶段就比先前方法快一个数量级以上。另一项token pruning方法在DeiT-S上仅导致0.1%精度下降。这些结果表明，合理设计合并策略可以在几乎不损失精度的情况下显著加速，但不同任务对精度敏感度不同，需针对性评估。
视频语言模型的多模态进展
VIOLET采用端到端视频变换器和Masked Visual-token Modeling预训练任务，在5种视频问答和4种文本到视频检索任务上取得最佳性能。PuMer则通过文本感知修剪和模态感知合并提升推理吞吐量并减少内存。这些工作显示，针对视频-语言任务设计专门的令牌缩减策略，能有效平衡多模态理解能力与计算效率。
Q&A
PatchMerger 模块是如何减少 Transformers 的计算代价的？
PatchMerger 模块通过缩减网络处理的补丁或令牌数量，实现了显著的加速，而不影响性能。
LTMP 方法的主要优势是什么？
LTMP 方法通过动态合并和修剪符号，降低输入符号数量，同时保持高准确性，速度比先前方法快一个数量级以上。
VIOLET 视频语言变换器的创新之处在哪里？
VIOLET 采用 Masked Visual-token Modeling 进行视频建模，显式建模视频输入，取得了多项视频问答和文本到视频检索任务的最佳性能。
时态扩张视频变换器 TDViT 的作用是什么？
TDViT 通过层次化的变换器块提取时空表示，有效缓解时态冗余的影响，模拟长程动态。
高效的视频分解方法是如何工作的？
该方法通过设计良好的分词器，将视觉和时间信息离散化为少量标记，支持大规模生成式预训练。
本文提出的优化 Transformer 模型的训练代价如何降低？
通过快速无需训练的压缩框架和局部-全局令牌合并方法，训练时间比现有方法节省两个数量级。
