超几何神经网络表示潜在树结构的容量界限

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文研究了深度双曲神经网络(HNNs)的表示容量,证明了HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。与ReLU多层感知器(MLP)相比,HNN的网络复杂性与表示保真度/失真率无关。

🎯

关键要点

  • 本文研究了深度双曲神经网络(HNNs)的表示容量。
  • HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。
  • 嵌入的度量为ε-等度量,且ε>1(ε=1时最优)。
  • 建立了实现嵌入的HNN的网络复杂性的严格上界。
  • HNN的网络复杂性与表示保真度/失真率无关。
  • 与ReLU多层感知器(MLP)相比,HNN在嵌入具有L>2^d个叶子的树时的失真下界为Ω(L^{1/d})。
  • HNN的复杂性与定义MLP的深度、宽度和激活函数无关。
➡️

继续阅读