晓飞的算法工程笔记
·
ToCom：一次训练随意使用，华为提出通用的ViT标记压缩器 | ECCV 2024 - 晓飞的算法工程笔记
💡
原文中文，约8100字，阅读约需20分钟。
📝
内容提要
本文介绍了标记补偿器（ToCom）的方法，解决了标记压缩在训练和推理阶段压缩程度不匹配导致的性能下降问题。ToCom通过自蒸馏训练在预训练模型上描述不同压缩程度下模型之间的差距。在推理过程中，ToCom可以直接插入到下游现成模型中，提高模型性能。实验结果表明，ToCom能够有效解耦训练和推理过程中的标记压缩程度，并提高标记压缩性能。
🎯
关键要点
- 标记压缩通过减少冗余标记数量来加快视觉变换器的训练和推理。
- 训练和推理阶段的压缩程度不匹配会导致模型性能下降。
- 提出标记补偿器（ToCom）以解耦训练和推理过程中的标记压缩程度。
- ToCom通过自蒸馏训练在预训练模型上描述不同压缩程度下模型之间的差距。
- ToCom可以直接插入到下游现成模型中，提高模型性能，无需进一步训练。
- 实验结果表明，ToCom能够有效解耦训练和推理过程中的标记压缩程度。
- 标记压缩方法具有明显的优势，能够以零样本方式应用于现成模型。
- 不同源压缩程度下训练的模型之间存在差距，影响迁移效果。
- ToCom是一个参数高效的模块，能够通过少量参数描述不同压缩程度的模型差距。
- ToCom的训练整合为ViT主干的预训练阶段的扩展，增强其泛化能力。
➡️
