StarNet：关于 Element-wise Multiplication 的高性能解释研究 | CVPR 2024 - 晓飞的算法工程笔记
内容提要
该论文揭示了star operation在无需加宽网络的情况下，将输入映射到高维非线性特征空间的能力。通过重写和重新表述star operation计算过程，论文发现这个运算可以生成一个新的特征空间，含有大约(d/√2)²线性独立维度。StarNet是一个简洁高效的概念验证模型，展示了star operation的优势。
延伸解读
隐式高维特征空间的来源
论文通过重写元素乘法运算，发现其可展开为约(d/√2)²个线性独立子项，这些子项与输入呈非线性关系，相当于将特征映射到高维空间。这种隐式维度提升不增加单层计算开销，类似于多项式核函数，为元素乘法的强表达能力提供了理论解释。
多层堆叠的指数级维度增长
当堆叠多个使用元素乘法的层时，隐式特征维度会以指数方式增长。例如，宽度128的10层网络可产生约90^1024维的隐式空间，近乎无限。这意味着即使网络很紧凑，也能通过深度获得极高的表达能力，但需注意实际中并非所有变体都保持这种增长。
不同变体的隐式维度差异
论文分析了元素乘法的几种特殊情况：若两个分支都经过线性变换，隐式维度约为(d/√2)²；若移除一个变换，维度降至约2d；若两个分支均无变换，则维度不变。因此，设计时需关注通道间处理方式，以保留高维优势。
StarNet的设计取舍与定位
StarNet作为概念验证模型，采用4级分层架构，用深度卷积下采样，并将Layer Normalization替换为可融合的Batch Normalization，激活函数改为ReLU6。这些简化旨在降低延迟和能耗，同时保持性能，体现了元素乘法在高效网络中的实用性。
Q&A
什么是 star operation，它的主要特点是什么？
star operation 是一种逐元素乘法运算，能够在无需加宽网络的情况下将输入映射到高维非线性特征空间，具有强大的表达能力。
StarNet 模型的设计理念是什么？
StarNet 是一个简洁高效的概念验证模型，旨在展示 star operation 的优势，具有紧凑的网络结构和较低的能耗。
star operation 如何影响特征空间的维度？
star operation 可以生成一个新的特征空间，含有大约 (d/√2)² 线性独立维度，能够在紧凑的特征空间内实现几乎无限的维度。
StarNet 在性能上与其他高效模型相比如何？
StarNet 在性能上超越了许多高效模型，如 MobileNetv3 和 EdgeViT，展示了 star operation 的实用性和优势。
StarNet 的架构是怎样的？
StarNet 采用 4 级分层架构，利用卷积层进行下采样，并通过修改的 demo block 进行特征提取。
star operation 的计算效率如何？
star operation 在计算效率上表现优越，能够在低维空间中计算的同时产生高维特征，且不会增加额外的计算开销。
