通过令牌扩展的 Transformer 通用高效训练
内容提要
本文提出了一种优化视觉变压器（ViT）模型的压缩框架，显著降低了训练成本和计算复杂度。通过稠密特征提取和局部-全局令牌合并等方法，提高了推理吞吐量并缩短了训练时间。同时，介绍了硬件高效的标记修剪框架和令牌传播控制器等改进技术，进一步提升了模型的准确性和效率。
延伸解读
无需训练压缩的实用价值
文章提出的快速无需训练压缩框架，直接针对ViT部署时训练代价高的问题。通过初层稠密特征提取器、高压缩率模型和局部-全局令牌合并，在多个模型上实现至多2倍FLOPS减少和1.8倍推理吞吐量提升，训练时间节省两个数量级。这意味着在实际部署中，无需重新训练即可获得显著加速，降低了应用门槛。
令牌合并与修剪的技术路线对比
文章提及了多种令牌压缩方法：Evo-ViT通过慢快令牌进化加速，ToMe无需训练合并相似令牌，HeatViT面向FPGA硬件高效修剪，GTP基于图传播重要信息。这些方法各有侧重，而本文的局部-全局令牌合并结合了空间关系，在压缩率和准确性间寻求平衡。读者可关注不同方法在具体任务上的适用性。
效率提升的量化意义
至多2倍的FLOPS减少和1.8倍的推理吞吐量提升，意味着在相同硬件上可处理更多请求或降低延迟。训练时间节省两个数量级，则大幅缩短了模型迭代周期。这些指标在多个模型上得到验证，表明该方法具有较好的泛化性，但实际收益可能因模型结构和输入分辨率而异。
Q&A
什么是优化视觉变压器（ViT）模型的压缩框架？
优化视觉变压器（ViT）模型的压缩框架是一种旨在降低训练成本和计算复杂度的技术，采用稠密特征提取和局部-全局令牌合并等方法。
该框架如何提高推理吞吐量和缩短训练时间？
通过稠密特征提取和局部-全局令牌合并等方法，该框架显著提高了推理吞吐量并缩短了训练时间。
该技术在多个模型上实现了什么样的性能提升？
在多个模型上，该技术实现了至多2倍的FLOPS减少和1.8倍的推理吞吐量提升。
硬件高效的标记修剪框架有什么作用？
硬件高效的标记修剪框架旨在优化模型的准确性和效率，特别是在嵌入式系统上。
令牌传播控制器如何提高模型的稳定性？
令牌传播控制器通过考虑令牌分布和引入平滑机制来提高令牌利用率和模型稳定性。
该框架在训练时间上相比现有方法节省了多少？
该框架的训练时间比现有方法节省了两个数量级。
