BriefGPT - AI 论文速递
·
Optimal Neural Network Approximation for High-Dimensional Continuous Functions
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文研究了具有ReLU激活的神经网络的深度表达能力，探讨了其对连续函数的逼近能力。结果表明，宽度为$d+3$的网络可以以任意精度逼近$d$维空间的任意连续函数，并讨论了不同激活函数的影响及其在高维空间中的逼近能力，提出了逼近所需的最小宽度和深度的条件。
🎯
关键要点
- 研究具有ReLU激活的神经网络的深度表达能力。
- 宽度为$d+3$的网络可以以任意精度逼近$d$维空间的任意标量连续函数。
- 最小宽度为$d_{in}+1$，在深度和宽度受限时只能逼近有限函数集。
- 任何连续函数可以通过宽度为$d_{in}+d_{out}$的网络逼近，逼近程度与函数的连续性有关。
- 深度网络对于不同函数类的Kolmogorov最优逼近性提供了指数级的逼近精度。
- 有限宽深层网络在逼近足够光滑的函数时需要更小的连通性。
- 使用ReLU激活的深层神经网络可以解决简单逼近问题，而浅层网络在多项式时间复杂度下无法解决。
- 激活函数对网络进行任意精度的连续函数逼近有充分条件，且提供了最小宽度的证明。
❓
延伸问答
ReLU激活的神经网络在逼近连续函数时的最小宽度是多少？
最小宽度为$d_{in}+1$。
宽度为$d+3$的神经网络能以什么精度逼近连续函数？
可以以任意精度逼近$d$维空间的任意标量连续函数。
深度网络与有限宽深层网络在逼近光滑函数时有什么不同？
有限宽深层网络在逼近足够光滑的函数时需要更小的连通性。
激活函数对神经网络的逼近能力有什么影响？
激活函数对网络进行任意精度的连续函数逼近有充分条件，并提供了最小宽度的证明。
在深度和宽度受限的情况下，神经网络能逼近什么类型的函数？
只能表达并逼近有限的函数集。
深度神经网络的Kolmogorov最优逼近性提供了什么优势？
提供了指数级的逼近精度。
➡️
