神经网络：深度、浅层，还是中间？

BriefGPT - AI 论文速递 · 2023-10-11T00:00:00Z

研究发现，几乎所有已知的激活函数类型都可以用小型三层前馈神经网络在高维空间上表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。深度比宽度对于标准前馈神经网络的提升价值可以是指数级别。该结果需要更少的假设，并且证明技巧和构造方法非常不同。