随机浅层ReLU网络的函数梯度近似与控制应用
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
研究分析了浅层ReLU$^k$神经网络的变分空间近似能力,证明这些空间包含平滑函数和有限变化范数。文章展示了基于变化范数的最佳逼近率,说明浅层ReLU$^k$网络能实现Hölder函数的最小逼近速率,而过参数化网络能实现接近最优的非参数回归速率。
🎯
关键要点
- 研究了浅层ReLU$^k$神经网络的变分空间近似能力。
- 证明这些变分空间包含平滑函数和有限变化范数。
- 建立了基于变化范数的最佳逼近率与神经元数量的关系。
- 浅层ReLU$^k$网络能实现Hölder函数的最小逼近速率。
- 过参数化网络能实现接近最优的非参数回归速率。
➡️