通过正则化操作与$k$-plane变换定义的Banach空间，完全刻画了具有多元非线性的神经结构在学习问题解集中的作用。研究了具有跳跃连接、正交权重归一化和多索引模型的神经结构的变分最优性。底层空间是再生核Banach空间和变分空间的特殊实例，为神经网络在数据上学习的函数的正则性提供了新的理论动机，并提供了对实践中一些架构选择的新的理论动力。