BriefGPT - AI 论文速递
·
使用哪些令牌？探究视觉变换器中的令牌缩减
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
通过对比不同的标记减少方法和图像分类数据集，发现Top-K剪枝方法是一个强基准。分析不同方法后发现，减少模式在改变主干模型容量时通常不一致，基于剪枝的方法的减少模式与固定的径向模式显著不同，并且基于剪枝的方法的减少模式在分类数据集中是相关的。最后，减少模式的相似性是模型性能的中、强代理。
🎯
关键要点
-
通过对比10种不同的标记减少方法和四个图像分类数据集，发现Top-K剪枝方法是一个强基准。
-
减少模式在改变主干模型容量时通常不一致。
-
基于剪枝的方法的减少模式与固定的径向模式显著不同。
-
基于剪枝的方法的减少模式在分类数据集中是相关的。
-
减少模式的相似性是模型性能的中、强代理。
➡️
