关于 Gevrey 类离散点奇异性的 ReLU^k 神经网络的指数表达能力
内容提要
本文综述深度ReLU网络的表达能力与逼近速率研究，包括：用Chebyshev展开构造代理网络，获得更优Sobolev范数速率与稳定性；证明其可表示分形网格上的Lagrange有限元函数及连续分段多项式；给出双曲边值问题、分类器逼近、ReLU^k网络及Kolmogorov方程等的最优速率与下界。
延伸解读
Chebyshev 代理网络的优势
本文通过 Chebyshev 多项式展开系数独特构建 ReLU 神经网络的代理，这些系数可在 Clenshaw-Curtis 点上通过逆快速傅里叶变换轻松计算。与基于 ReLU 网络模拟多项式的传统构造方法相比，该方法获得了更优的表达速率和稳定性界限，且所有模拟界限均明确以区间分割、目标模拟精度和每个分割元素的多项式次数表示。
分形网格上的有限元表示
研究证明深度 ReLU 网络能在任意维度的分形网格上表示 Lagrange 有限元函数。通过引入基函数的新型全局公式，并基于几何分解和高维分形网格及质心坐标函数的两个关键性质，该表示理论为深度神经网络的自然近似结果提供了便利，首次证明了深度神经网络如何系统地生成一般的连续分段多项式函数。
双曲边值问题的表达能力
在简化的双曲线两点边界值问题模型中，本文证明了解集的深度神经网络表达能力率的上界，并给出了与奇异扰动参数一致的 Sobolev 范数上的表达能力上界。研究涵盖了 ReLU、spiking、tanh 和 sigmoid 激活的神经网络，其中后两者可显式表示“指数性边界层解特征”，并具有更好的表达能力率上界。
ReLU^k 网络的逼近特性
深度 ReLU^k 网络不仅能有效逼近多项式，还能准确表示高次多项式。研究提供了建设性证明，得出了网络参数的上界，并证明了在 Sobolev 空间和解析函数中的子优逼近率。此外，深度 ReLU^k 网络能逼近多种变差空间中的函数，甚至超越了仅由 ReLU^k 激活函数生成的变差空间，显示了其适应性。
Q&A
ReLU神经网络在逼近具有点奇异性的解析函数时，表达能力如何？
本文通过Chebyshev多项式展开构造ReLU NN代理，证明了对于具有点奇异性的解析函数，ReLU模拟速率可以达到指数级。
深度ReLU网络表示连续分段多项式函数需要多少隐藏层？
研究表明，使用ReLU DNN表示任何线性有限元函数或连续分段线性函数（CPWL）至少需要两个隐藏层。
ReLU^k网络相比普通ReLU网络在表达能力上有哪些优势？
深度ReLU^k网络不仅能有效逼近多项式，还能准确表示高次多项式，并且能逼近多种变差空间中的函数，甚至超越了仅由ReLU^k激活函数生成的变差空间。
深度ReLU网络在求解高维偏微分方程（如Kolmogorov方程）中的逼近速率如何？
研究证明高维解空间中的PDE解可以通过深度ReLU网络进行逼近，并提供了表达能力分析技术，能够克服维数诅咒，在多项式时间内以任意精度逼近解。
在L^2意义下逼近分类器函数，ReLU网络需要多少权重？
对于可允许不连续的分段C^β函数，使用固定层数的ReLU网络逼近，权重数量为O(ε^{-2(d-1)/β})，并且这是最优的。
深度ReLU网络如何表示分形网格上的Lagrange有限元函数？
通过引入基函数的新型全局公式，基于几何分解和高维分形网格及质心坐标函数的两个关键性质，深度ReLU网络能够系统地生成一般的连续分段多项式函数，从而表示分形网格上的Lagrange有限元函数。
