随机浅层ReLU网络的函数梯度近似与控制应用

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

研究分析了浅层ReLU$^k$神经网络的变分空间近似能力,证明这些空间包含平滑函数和有限变化范数。文章展示了基于变化范数的最佳逼近率,说明浅层ReLU$^k$网络能实现Hölder函数的最小逼近速率,而过参数化网络能实现接近最优的非参数回归速率。

🎯

关键要点

  • 研究了浅层ReLU$^k$神经网络的变分空间近似能力。
  • 证明这些变分空间包含平滑函数和有限变化范数。
  • 建立了基于变化范数的最佳逼近率与神经元数量的关系。
  • 浅层ReLU$^k$网络能实现Hölder函数的最小逼近速率。
  • 过参数化网络能实现接近最优的非参数回归速率。
➡️

继续阅读