BriefGPT - AI 论文速递 · 2023-09-26T00:00:00Z

SGD 在两层神经网络中寻找并调整特征，具有近乎最优的样本复杂度：以 XOR 问题为案例研究

📝

内容提要

本文研究了使用SGD训练任意宽度的两层神经网络，证明了第一层权重将收敛于真实模型的k维主子空间，使用SGD训练的ReLU NNs可以通过恢复主方向来学习单指标目标，其样本复杂度与d成线性关系。

🏷️

标签

ReLU NNs 主子空间 权重衰减 神经网络 随机梯度下降