BriefGPT - AI 论文速递
·
二层 ReLU 网络中的隐藏最小值
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究了拟合具有$d$个输入、$k$个神经元和由目标网络生成的标签的两层ReLU网络的优化问题。发现了两类无穷族的最小值，每个$d$和$k$有一个最小值。第一类中的最小值的损失在$d$增加时趋近于零，而第二类中的损失保持在零之外。发展了研究隐藏极小值的方法，理论结果表明，包括所有切线弧的集合在拓扑上足够平滑，允许切线弧的数值构建，并最终比较两类极小值相对于相邻临界点的位置。
🎯
关键要点
- 研究了拟合具有$d$个输入、$k$个神经元的两层ReLU网络的优化问题。
- 发现了两类无穷族的最小值，每个$d$和$k$有一个最小值。
- 第一类中的最小值的损失在$d$增加时趋近于零。
- 第二类中的损失保持在零之外。
- 发展了研究隐藏极小值的方法，以避免属于第二类的最小值。
- 损失函数应用的一般结果显示，从隐藏极小值出发的切线弧的结构和对称性有特征性的差异。
- 理论结果表明，切线弧的集合在拓扑上足够平滑，允许切线弧的数值构建。
- 最终比较两类极小值相对于相邻临界点的位置。
➡️
