通过几何调整的梯度下降在深度学习中实现全局 L2 最小化

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

该文章解释了浅层神经网络结构的几何意义和成本函数最小值的上界。通过使用投影适应训练输入向量的平均值,得到了一个近似优化器。特殊情况下,明确确定了成本函数的一个精确退化局部最小值。该网络度量了输入空间中的一个子空间,并对成本函数的全局最小值进行了评论。

🏷️

标签

➡️

继续阅读