深度学习网络的几何结构和全局 L^2 最小化器的构建

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

该文介绍了一个浅层神经网络结构,具有隐藏层、斜坡激活函数和L2 Schatten/Hilbert-Schmidt代价函数。证明了成本函数最小值的上界,并使用投影获得了一个近似优化器。在特殊情况下,证明了成本函数的精确退化局部最小值,并展示了该网络度量了输入空间中的Q维子空间。对成本函数全局最小值的特征进行了评论。

🏷️

标签

➡️

继续阅读