Optimal Neural Network Approximation for High-Dimensional Continuous Functions
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文研究了具有ReLU激活的神经网络的深度表达能力，探讨了其对连续函数的逼近能力。结果表明，宽度为$d+3$的网络可以以任意精度逼近$d$维空间的任意连续函数，并讨论了不同激活函数的影响及其在高维空间中的逼近能力，提出了逼近所需的最小宽度和深度的条件。
🔎
延伸解读
ReLU网络逼近连续函数的最小宽度
文章指出，使用ReLU激活的神经网络，宽度为d+3时即可任意精度逼近d维空间上的任意标量连续函数。同时，最小宽度为d_in+1，若深度和宽度均受限，则网络只能表达有限函数集。这为设计网络结构提供了理论下界，表明在追求高逼近精度时，宽度至少需达到输入维度加一。
深度带来的指数级逼近优势
深度网络对不同函数类具有Kolmogorov最优逼近性，能提供指数级的逼近精度。在逼近足够光滑的函数时，有限宽深层网络比有限宽浅层网络需要更小的连通性。这意味着增加深度可以显著提升网络表达能力，而浅层网络在多项式时间复杂度下无法解决某些简单逼近问题。
激活函数与逼近条件
文章探讨了不同激活函数的影响，给出了激活函数使网络能够以任意精度逼近连续函数的充分条件，并证明了所需的最小宽度。这表明ReLU并非唯一选择，但满足特定条件的激活函数均可实现通用逼近。此外，对于无限维神经网络，在轻微拓扑条件下也能逼近任意连续算子，并给出了有限逼近所需的最小输入输出单元下界。
❓
Q&A
ReLU激活的神经网络在逼近连续函数时的最小宽度是多少？
最小宽度为$d_{in}+1$。
宽度为$d+3$的神经网络能以什么精度逼近连续函数？
可以以任意精度逼近$d$维空间的任意标量连续函数。
深度网络与有限宽深层网络在逼近光滑函数时有什么不同？
有限宽深层网络在逼近足够光滑的函数时需要更小的连通性。
激活函数对神经网络的逼近能力有什么影响？
激活函数对网络进行任意精度的连续函数逼近有充分条件，并提供了最小宽度的证明。
在深度和宽度受限的情况下，神经网络能逼近什么类型的函数？
只能表达并逼近有限的函数集。
深度神经网络的Kolmogorov最优逼近性提供了什么优势？
提供了指数级的逼近精度。
🏷️
