超几何神经网络表示潜在树结构的容量界限
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文研究了深度双曲神经网络(HNNs)的表示容量,证明了HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。与ReLU多层感知器(MLP)相比,HNN的网络复杂性与表示保真度/失真率无关。
🎯
关键要点
- 本文研究了深度双曲神经网络(HNNs)的表示容量。
- HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。
- 嵌入的度量为ε-等度量,且ε>1(ε=1时最优)。
- 建立了实现嵌入的HNN的网络复杂性的严格上界。
- HNN的网络复杂性与表示保真度/失真率无关。
- 与ReLU多层感知器(MLP)相比,HNN在嵌入具有L>2^d个叶子的树时的失真下界为Ω(L^{1/d})。
- HNN的复杂性与定义MLP的深度、宽度和激活函数无关。
➡️