具有通用激活函数的宽隐藏层树状神经网络的精确容量
原文中文,约400字,阅读约需1分钟。发表于: 。研究表明,树状委员会机器(TCM)神经网络和 Random Duality Theory(RDT)及其部分提升(pl RDT)变体是用于精确网络容量分析的强大工具,而全面提升(fl)RDT 可用于描述宽(d→∞)TCM 网络的容量,通过对多种激活函数进行数值计算,发现整个提升机制的收敛速度非常快,而第一和第二级提升的容量表征与统计物理复制方法获得的结果相吻合。
通过研究深度双曲神经网络(HNNs)的表示容量,证明了HNNs能够将任何有限加权树嵌入到带有给定曲率的双曲空间中。与欧几里得空间的嵌入相比,HNN的网络复杂性较低。