为何双曲神经网络有效？关于分层表示能力的研究
内容提要
超几何神经网络利用双曲空间嵌入提升分类与分层结构建模，但存在梯度消失问题。研究通过裁剪欧氏表征幅度稳定训练，在MNIST、CIFAR等基准上提升鲁棒性与分布外检测。多项工作将双曲几何引入逻辑回归、前馈、循环、卷积及图神经网络，构建HGCN、HNHN等模型，在链路预测和节点分类上显著优于欧氏模型，并能以低维嵌入保持树结构。
延伸解读
双曲空间为何适合分层数据
双曲空间具有负曲率，其体积随半径指数增长，能自然嵌入树状或层次结构。文章指出，双曲模型能以低维嵌入保持树结构，而欧氏空间需要更高维度。这解释了为何双曲神经网络在链路预测和节点分类等任务上优于欧氏模型，尤其适合处理具有层次关系的数据。
梯度消失问题与裁剪解决方案
双曲神经网络连接欧氏表征与双曲分类器时存在梯度消失问题，影响训练稳定性。文章提出在训练时裁剪欧氏表征幅度，简单有效地缓解了该问题。在MNIST、CIFAR等基准上，该方法不仅几乎可替代欧氏神经网络，还在对抗鲁棒性和分布外检测方面表现更好，说明稳定训练对发挥双曲优势至关重要。
从理论到模型的演进
文章梳理了双曲几何在深度学习中的多项进展：从2018年将Möbius陀螺向量空间与Poincaré模型结合，提出双曲逻辑回归、前馈和循环网络，到2020年构建卷积层和注意力机制，再到HGCN、HNHN等图神经网络。这些工作逐步将双曲组件扩展到序列、图像和图数据，并在多个任务上验证了其有效性。
理论保证与欧氏对比
文章引用研究证明，深度双曲神经网络能将任何有限加权树以ε-等度量嵌入到至少二维的双曲空间，且网络复杂度与表示保真度无关。相比之下，欧氏空间中的ReLU MLP嵌入树时至少需要Ω(L^{1/d})的失真。这一对比从理论上解释了双曲模型在表示层次结构时的维度效率优势。
Q&A
双曲神经网络为什么会出现梯度消失问题？
因为双曲神经网络将欧氏空间表征嵌入到超半球中，连接欧氏表征和双曲分类器时存在梯度消失问题。
如何解决双曲神经网络的梯度消失问题？
在训练双曲神经网络时裁剪欧氏表征的幅度，可以稳定训练并解决梯度消失问题。
双曲神经网络在哪些基准测试中表现优于欧氏神经网络？
在MNIST、CIFAR10、CIFAR100和ImageNet基准测试中，双曲神经网络不仅几乎可以取代欧氏神经网络，而且在对抗性鲁棒性和超出分布检测方面表现更好。
双曲图卷积神经网络（HGCN）相比欧氏模型有哪些优势？
HGCN学习到的嵌入保留了分层结构，与欧氏模型相比，即使嵌入维度非常低，也能获得更好的性能：在链路预测中ROC AUC误差降低最多63.1%，在节点分类中F1分数提高最多47.5%，并改善了Pubmed数据集的最新技术水平。
深度双曲神经网络（HNNs）的表示容量如何？
通过ReLU激活函数，深度双曲神经网络能够将任何有限加权树以ε-等度量嵌入到至少二维的带有给定曲率κ<0的双曲空间中，其中ε>1（ε=1时最优）。
双曲神经网络在自然语言处理任务中有哪些应用？
双曲句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。
