神经网络：深度、浅层，还是中间？
原文中文，约300字，阅读约需1分钟。发表于：。我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我们固定深度并使宽度 W 趋于无穷大则无法获益。
研究发现，几乎所有已知的激活函数类型都可以用小型三层前馈神经网络在高维空间上表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。深度比宽度对于标准前馈神经网络的提升价值可以是指数级别。该结果需要更少的假设，并且证明技巧和构造方法非常不同。
