晓飞的算法工程笔记
·
ToCom：一次训练随意使用，华为提出通用的ViT标记压缩器 | ECCV 2024 - 晓飞的算法工程笔记
内容提要
本文介绍了标记补偿器（ToCom）的方法，解决了标记压缩在训练和推理阶段压缩程度不匹配导致的性能下降问题。ToCom通过自蒸馏训练在预训练模型上描述不同压缩程度下模型之间的差距。在推理过程中，ToCom可以直接插入到下游现成模型中，提高模型性能。实验结果表明，ToCom能够有效解耦训练和推理过程中的标记压缩程度，并提高标记压缩性能。
关键要点
-
标记压缩通过减少冗余标记数量来加快视觉变换器的训练和推理。
-
训练和推理阶段的压缩程度不匹配会导致模型性能下降。
-
提出标记补偿器（ToCom）以解耦训练和推理过程中的标记压缩程度。
-
ToCom通过自蒸馏训练在预训练模型上描述不同压缩程度下模型之间的差距。
-
ToCom可以直接插入到下游现成模型中，提高模型性能，无需进一步训练。
-
实验结果表明，ToCom能够有效解耦训练和推理过程中的标记压缩程度。
-
标记压缩方法具有明显的优势，能够以零样本方式应用于现成模型。
-
不同源压缩程度下训练的模型之间存在差距，影响迁移效果。
-
ToCom是一个参数高效的模块，能够通过少量参数描述不同压缩程度的模型差距。
-
ToCom的训练整合为ViT主干的预训练阶段的扩展，增强其泛化能力。
延伸问答
什么是标记补偿器（ToCom）？
标记补偿器（ToCom）是一种插件，旨在解耦训练和推理过程中的标记压缩程度，从而提高模型性能。
ToCom如何解决训练和推理阶段压缩程度不匹配的问题？
ToCom通过自蒸馏训练在预训练模型上描述不同压缩程度下模型之间的差距，从而有效解耦训练和推理过程中的标记压缩程度。
ToCom的实验结果如何？
实验结果表明，ToCom能够有效解耦训练和推理过程中的标记压缩程度，并在VTAB-1k基准测试中提升DeiT-B的平均性能。
标记压缩的优势是什么？
标记压缩通过减少冗余标记数量来加快视觉变换器的训练和推理，且可以以零样本方式应用于现成模型。
ToCom在推理过程中如何应用？
在推理过程中，ToCom可以直接插入到下游现成模型中，无需进一步训练，即可提高模型性能。
ToCom的训练过程是怎样的？
ToCom的训练整合为ViT主干的预训练阶段，通过自蒸馏方法在预训练数据上进行训练，以增强其泛化能力。
