卷积层光谱范数的紧致高效上界
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了卷积操作中雅可比矩阵光谱范数控制的重要性，现有方法往往高估光谱范数或随着输入和内核尺寸的增加而性能迅速下降。论文提出的新的光谱范数上界与输入图像分辨率无关，具有可微性，并且能够在训练过程中高效计算，实验证明可以提升卷积架构的性能。
本研究证明了具有多个内核的卷积神经网络在输入服从高斯分布且样本量足够大时，对于大多数流行的激活函数，其平方损失在全局最优附近的吸引盆中是局部强凸的。同时，张量方法能够将参数初始化为局部强凸的区域，使得梯度下降在多项式数量级的时间内收敛到全局最优解。这是第一份提供具有多个内核的CNN恢复保证的工作，其样本复杂度和计算复杂度都是多项式的。
