超几何神经网络表示潜在树结构的容量界限
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文研究了深度双曲神经网络(HNNs)的表示容量,证明了HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。与ReLU多层感知器(MLP)相比,HNN的网络复杂性与表示保真度/失真率无关。
🎯
关键要点
-
本文研究了深度双曲神经网络(HNNs)的表示容量。
-
HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。
-
嵌入的度量为ε-等度量,且ε>1(ε=1时最优)。
-
建立了实现嵌入的HNN的网络复杂性的严格上界。
-
HNN的网络复杂性与表示保真度/失真率无关。
-
与ReLU多层感知器(MLP)相比,HNN在嵌入具有L>2^d个叶子的树时的失真下界为Ω(L^{1/d})。
-
HNN的复杂性与定义MLP的深度、宽度和激活函数无关。
🏷️