完全连接 ReLU 层的几何结构
原文中文，约400字，阅读约需1分钟。发表于：。通过对神经网络中全连接 ReLU 层的几何结构进行形式化和解释，我们提出了 ReLU 层参数对输入域的自然划分，使得在每个划分区域内，ReLU 层可以大大简化；这导致了一个几何解释：ReLU 层可以看作是一个多面角投影，然后跟随一个仿射变换，与具有 ReLU 激活的卷积网络的描述一致。此结构进一步简化了描述分类问题中决策边界的划分区域和超平面的原像的表达式。我们详细研究了具有一个隐藏...
该研究提出了ReLU层参数对输入域的自然划分，使得在每个划分区域内，ReLU层可以大大简化。研究探讨了具有一个隐藏ReLU层的前馈网络，提供了关于此类网络生成决策边界的几何复杂性的结果，并证明除了仿射变换外，这样的网络只能生成d个不同的决策边界。
