超几何神经网络表示潜在树结构的容量界限

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文研究了深度双曲神经网络(HNNs)的表示容量,证明了HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。与ReLU多层感知器(MLP)相比,HNN的网络复杂性与表示保真度/失真率无关。

🎯

关键要点

  • 本文研究了深度双曲神经网络(HNNs)的表示容量。

  • HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。

  • 嵌入的度量为ε-等度量,且ε>1(ε=1时最优)。

  • 建立了实现嵌入的HNN的网络复杂性的严格上界。

  • HNN的网络复杂性与表示保真度/失真率无关。

  • 与ReLU多层感知器(MLP)相比,HNN在嵌入具有L>2^d个叶子的树时的失真下界为Ω(L^{1/d})。

  • HNN的复杂性与定义MLP的深度、宽度和激活函数无关。

🏷️

标签

➡️

继续阅读