完全连接 ReLU 层的几何结构

BriefGPT - AI 论文速递 · 2023-10-05T00:00:00Z

该研究提出了ReLU层参数对输入域的自然划分，使得在每个划分区域内，ReLU层可以大大简化。研究探讨了具有一个隐藏ReLU层的前馈网络，提供了关于此类网络生成决策边界的几何复杂性的结果，并证明除了仿射变换外，这样的网络只能生成d个不同的决策边界。