深度神经网络：多分类与通用逼近
内容提要
本文研究了神经网络宽度对表达能力的影响，证明了宽度为$(n+4)$的ReLU网络是通用逼近器，并展示了深度比宽度更有效。还探讨了量化网络的复杂度、ReLU网络的记忆能力及其在高维空间的逼近能力，强调了深层网络在解决复杂问题中的优势。
延伸解读
宽度相变现象
文章指出，宽度为n+4的ReLU网络是通用逼近器，但存在无法用宽度为n的网络逼近的函数，表现出相变现象。这意味着网络表达能力在宽度上存在临界点，增加少量宽度即可实现质的飞跃。实际中，设计网络时需注意宽度阈值，过窄可能严重限制表达能力。
深度优先于宽度
研究强调深度比宽度更有效，深层网络在逼近光滑函数时所需连通性更小，且能解决浅层网络在多项式时间内无法解决的简单问题。这支持了深度学习实践中增加层数而非单纯加宽网络的做法，但需注意过深可能带来训练难度。
记忆能力与参数效率
ReLU网络能以约根号N个节点记忆N个数据点，且大位复杂度权重是次线性参数记忆的必要条件。这表明网络记忆能力与参数数量及权重精度密切相关，但记忆不等于泛化，实际应用中需平衡记忆与泛化性能。
逼近与样本复杂度权衡
存在可用ReLU网络任意速率逼近的函数，但需要指数级增长的样本数量。这揭示了高维逼近中精度与样本复杂度之间的根本矛盾，提醒我们在追求高精度逼近时，需考虑数据获取成本，避免不切实际的需求。
Q&A
神经网络的宽度对表达能力有什么影响？
宽度为(n+4)的ReLU网络被证明是通用逼近器，深度比宽度更有效。
深层网络相比于浅层网络有什么优势？
深层网络在解决复杂问题时表现更好，能够逼近一些浅层网络无法处理的函数。
量化网络的复杂度如何影响其性能？
量化网络所需的权重数量不超过未量化网络的log^5(1/ɛ)，支持量化技术的有效性。
3层ReLU网络的记忆能力如何？
3层ReLU网络可以利用深度，使用约根号N个节点完美记忆大多数N个数据点。
深度神经网络在高维空间的逼近能力如何？
深层ReLU网络在逼近足够光滑的函数时，相较于有限宽深网络需要更小的连通性。
使用ReLU激活函数的网络能否进行任意速率逼近？
存在可以用带有ReLU激活函数的神经网络进行任意速率逼近的函数，但需要指数级增长的样本数量。
