晓飞的算法工程笔记
·
WTConv：小参数大感受野，基于小波变换的新型卷积 | ECCV'24 - 晓飞的算法工程笔记
内容提要
研究者尝试通过增加CNN的卷积核大小来模拟ViTs的全局感受野，但效果有限。论文提出用小波变换（WT）实现大感受野，避免过参数化。新方法WTConv层可替代现有架构，提升多频响应能力，适用于图像分类和语义分割。WTConv通过小波分解和小卷积核扩展感受野，参数增长缓慢，增强对低频信息的响应，提高CNN的鲁棒性和形状识别能力。
关键要点
-
研究者尝试通过增加CNN的卷积核大小来模拟ViTs的全局感受野，但效果有限。
-
论文提出用小波变换（WT）实现大感受野，避免过参数化。
-
新方法WTConv层可替代现有架构，提升多频响应能力，适用于图像分类和语义分割。
-
WTConv通过小波分解和小卷积核扩展感受野，参数增长缓慢。
-
WTConv增强对低频信息的响应，提高CNN的鲁棒性和形状识别能力。
-
WTConv作为深度可分离卷积的替代品，可以在任何CNN架构中直接使用。
-
论文展示了WTConv在ConvNeXt和MobileNetV2架构中的有效性。
-
WTConv在多个关键计算机视觉任务中提升了CNN的结果。
-
小波变换的每一级增加感受野大小，同时仅小幅增加可训练参数数量。
-
WTConv层的构建旨在比标准卷积更好地捕捉低频信息。
延伸解读
小波变换的优势
小波变换（WT）在卷积神经网络中提供了显著的优势，尤其是在感受野的扩展上。与传统方法相比，WTConv通过级联小波分解，能够在增加感受野的同时，仅以对数级别增加可训练参数。这使得模型在处理复杂图像时，能够更好地捕捉低频信息，提高了鲁棒性和形状识别能力。
WTConv的应用场景
WTConv层的设计使其能够无缝替代现有的卷积层，适用于多种CNN架构，如ConvNeXt和MobileNetV2。这种灵活性使得WTConv在图像分类、语义分割和物体检测等多个计算机视觉任务中表现出色，尤其是在需要处理低频信息的场景中。
参数效率与计算成本
WTConv通过小卷积核和小波变换的结合，显著降低了计算成本。尽管参数数量随着感受野的增加而增长，但其增长速度远低于传统大卷积核方法。这种高效的参数利用率使得WTConv在资源受限的环境中仍能保持良好的性能，适合实际应用中的部署。
延伸问答
WTConv的主要创新是什么？
WTConv通过小波变换实现大感受野，避免了过参数化的问题。
WTConv如何提高CNN的鲁棒性？
WTConv增强了对低频信息的响应，从而提高了CNN的鲁棒性和形状识别能力。
WTConv适用于哪些计算机视觉任务？
WTConv适用于图像分类和语义分割等多个计算机视觉任务。
WTConv与传统卷积的参数增长有什么不同？
WTConv的可训练参数数量以对数增长，而传统卷积的参数数量则呈平方增长。
小波变换在WTConv中的作用是什么？
小波变换用于有效扩大卷积的感受野，并强调低频信息的响应。
WTConv在ConvNeXt和MobileNetV2中的表现如何？
WTConv在ConvNeXt和MobileNetV2架构中展示了有效性，提升了图像分类的结果。
