在神经网络中倾斜彩票的机会：过参数化和课程表的相互作用
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文研究了浅层神经网络在过参数化情况下的训练方法，提出使用二次激活函数和梯度下降法可以有效找到全局最优解。研究表明，过度参数化有助于神经网络的稳定收敛，且样本复杂度与网络参数数量几乎无关。
🔎
延伸解读
过参数化与样本复杂度的关系
文章指出，在过参数化情况下，神经网络的样本复杂度几乎独立于网络参数数量。这意味着即使网络规模很大，所需训练样本数也不会显著增加，从而缓解了过参数化易导致过拟合的传统担忧。这一结论为理解深度网络为何能在有限数据下有效训练提供了理论支持。
二次激活函数下的全局最优解
针对浅层神经网络，文章证明使用二次激活函数和梯度下降法可以找到全局最优解。对于差分激活函数，在合适初值下梯度下降能以线性速度收敛。这表明激活函数的选择对优化 landscape 有重要影响，二次激活可能使损失函数更易于优化。
彩票假说与对数过参数化
文章提及强彩票假说并非需要多项式级过参数化，而是对数级过参数化即可。通过剪枝随机 ReLU 网络与随机 SubsetSum 问题的关联，这一发现降低了彩票假说对网络规模的要求，意味着稀疏可训练子网络可能更普遍地存在于适度规模的网络中。
❓
Q&A
过参数化对神经网络训练有什么影响？
过参数化有助于神经网络的稳定收敛，且样本复杂度与网络参数数量几乎无关。
如何使用二次激活函数训练神经网络？
使用二次激活函数和梯度下降法可以有效找到全局最优解。
梯度下降法在神经网络中的收敛速度如何？
在合适的初值下，梯度下降法可以以线性速度收敛到全局最优解。
神经网络的样本复杂度与参数数量有什么关系？
样本复杂度与网络参数数量几乎无关。
什么是彩票票据假说？
彩票票据假说展示了深度神经网络中存在的可训练子网络，这些子网络在相同的训练步骤下表现不亚于原始模型。
过参数化如何影响神经网络的收敛性质？
过参数化下的神经网络具有非常稳定的收敛性质，学生节点不断向教师节点收敛。
🏷️
