KernelWarehouse：英特尔开源轻量级涨点神器，动态卷积核突破100+ | ICML 2024 - 晓飞的算法工程笔记
原文中文，约13700字，阅读约需33分钟。发表于：。动态卷积学习n个静态卷积核的线性混合，加权使用它们输入相关的注意力，表现出比普通卷积更优越的性能。然而，它将卷积参数的数量增加了n倍，因此并不是参数高效的。这导致不能探索n>100的设置（比典型设置n<10大一个数量级），推动动态卷积性能边界提升的同时享受参数的高效性。为此，论文提出了KernelW
该论文提出了一种名为KernelWarehouse的动态卷积设计方法，通过重新定义卷积核和注意力函数的概念，在参数效率和表示能力之间实现了权衡。该方法通过核分区和仓库构建与共享的方式提高了动态卷积的性能，并在ImageNet和MS-COCO数据集上进行了实验证明了其有效性。与现有的动态卷积方法相比，KernelWarehouse在模型准确性和参数效率方面取得了显著的改进。
