具有多元非线性的神经结构的巴拿赫空间优化性
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
该文研究了一类新的Banach空间,证明了具有多元非线性的神经结构是这些空间中学习问题解集的完全刻画,并研究了这些神经结构的变分最优性。最优的神经结构具有跳跃连接,与正交权重归一化和多索引模型紧密相关。底层空间是再生核Banach空间和变分空间的特殊实例,并为神经网络在数据上学习的函数的正则性提供了新的理论动机。
🎯
关键要点
- 研究了一类新的Banach空间。
- 证明了多元非线性的神经结构是这些空间中学习问题解集的完全刻画。
- 研究了神经结构的变分最优性,特别是Banach空间的最优性。
- 最优的神经结构具有跳跃连接,且与正交权重归一化和多索引模型相关。
- 底层空间是再生核Banach空间和变分空间的特殊实例。
- 为神经网络在数据上学习的函数的正则性提供了新的理论动机,尤其是在多元非线性情况下。
- 提供了对实践中一些架构选择的新的理论动力。
➡️