卷积层光谱范数的紧致高效上界

BriefGPT - AI 论文速递 · 2024-09-18T00:00:00Z

本研究证明了具有多个内核的卷积神经网络在输入服从高斯分布且样本量足够大时，对于大多数流行的激活函数，其平方损失在全局最优附近的吸引盆中是局部强凸的。同时，张量方法能够将参数初始化为局部强凸的区域，使得梯度下降在多项式数量级的时间内收敛到全局最优解。这是第一份提供具有多个内核的CNN恢复保证的工作，其样本复杂度和计算复杂度都是多项式的。