我们证明了连续激活函数的神经网络能够以有限误差边界近似训练数据集，并通过权重矩阵的截断奇异值分解阐明了神经网络层编码和表示训练数据集的特性。这对于理解神经网络的表达能力和存储容量的互补性具有重要意义。

本文研究了使用SGD训练任意宽度的两层神经网络，证明了第一层权重将收敛于真实模型的主子空间，建立了一个独立于NN宽度的误差边界，并证明了使用SGD训练的ReLU NNs可以通过恢复主方向来学习单指标目标，其样本复杂度与d成线性关系。