通过矩阵分解的视觉 Transformer 剪枝
原文中文,约200字,阅读约需1分钟。发表于: 。通过使用矩阵分解实现视觉转换器修剪,该论文进一步在保留重要特征的基础上,比较了多种矩阵分解方法,最终选择奇异值分解作为降维和计算复杂度减少的方法,通过与原准确率得分进行比较实现目标。
该论文介绍了UP-ViTs,一种压缩Vision Transformer模型并提高准确性的修剪框架。实验证明,UP-ViTs在Object Detection等任务中表现出色,并在ImageNet上超越了传统的ViTs模型。