向量和超复数值神经网络的普适逼近定理

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

通过分析高度表达力模型的基本结构元素,我们引入了一个表达力类别的层次结构,将全局可近似性属性与无限 VC 维度的弱属性相连接,并证明了几个逐渐复杂的功能族的分类结果。特别地,我们介绍了一个通用的多项式 - 指数 - 代数功能族,经证明它受到了多项式约束。另一方面,我们提供了包括两层隐藏层神经网络在内的函数族的示例,它们在任意有限集上可近似函数,但在整个定义域上却无法做到。

🎯

关键要点

  • 分析高度表达力模型的基本结构元素。

  • 引入表达力类别的层次结构,连接全局可近似性属性与无限 VC 维度的弱属性。

  • 证明几个逐渐复杂的功能族的分类结果。

  • 介绍通用的多项式 - 指数 - 代数功能族,证明其受多项式约束。

  • 表明具有不超过一层超越激活函数的固定大小神经网络通常无法近似任意有限集上的函数。

  • 提供包括两层隐藏层神经网络的函数族示例,它们在任意有限集上可近似函数,但在整个定义域上无法做到。

➡️

继续阅读