FLORA:用于视觉 Transformer 的细粒度低秩架构搜索
原文中文,约300字,阅读约需1分钟。发表于: 。通过引入基于 NAS 的自动化框架 FLORA,本论文提出了一种用于降低计算负载的低秩逼近方法,通过低秩感知的候选过滤策略和低秩特定训练方法,实现了更精细的低秩配置,相比简单均匀配置可额外减少 33% 的操作次数,同时还展示了与压缩技术和紧凑混合结构整合可达到更高的 FLOPs 减少率。
本文介绍了一种通过FLORA框架实现的低秩逼近方法,可以通过低秩感知的候选过滤策略和低秩特定训练方法来降低计算负载。相比简单均匀配置,该方法可以额外减少33%的操作次数,并且可以与压缩技术和紧凑混合结构整合以达到更高的FLOPs减少率。