固定宽度树状神经网络容量分析 -- 通用激活函数
内容提要
研究表明，树状委员会机器与随机对偶理论是网络容量分析的有力工具，其提升机制收敛快，结果与统计物理方法一致。在多层sign感知器中增加神经元有益，特定TCM结构可降低容量界限。双层网络记忆容量下界为md/2，过度参数化模型具备完全记忆能力。深度比宽度对网络性能的提升可达指数级，两层隐藏层即可表示线性阈值函数。
延伸解读
理论工具：TCM与RDT的协同
文章指出树状委员会机器（TCM）和随机对偶理论（RDT）是精确分析网络容量的有力工具。RDT的提升变体（pl RDT和fl RDT）能分别处理有限宽度和无限宽度TCM，且收敛速度快，结果与统计物理复制方法一致。这为容量分析提供了可计算的理论框架。
容量下界与过度参数化
对于双层网络，记忆容量下界为md/2（m个隐藏神经元，输入维度d），最优性分析显示约2倍优势。过度参数化模型在数据量超过阈值后具备完全记忆能力。这些结论揭示了参数数量与记忆能力之间的定量关系。
深度与宽度的权衡
深度比宽度对网络性能的提升可达指数级：存在简单函数可由小型三层网络表达，但二层网络需指数级宽度才能近似。此外，两层隐藏层即可表示线性阈值函数范围内的任何函数，并有多项式时间算法。这强调了深度在表示效率上的关键作用。
Q&A
树状委员会机器（TCM）神经网络在容量分析中有什么作用？
TCM神经网络与随机对偶理论（RDT）及其部分提升变体是用于精确网络容量分析的强大工具，而全面提升RDT可用于描述宽TCM网络的容量。
双层神经网络的记忆容量下界是多少？
对于具有m个隐藏神经元和输入维度d（即md+m个可训练参数）的双层神经网络，其记忆容量下界为md/2。
过度参数化的神经网络在什么条件下具有完全记忆能力？
具有sigmoid或ReLU激活函数的过度参数化模型，在训练数据超过一定数量后，具有百分之百的记忆能力。
深度比宽度对神经网络性能的提升有多大？
深度比宽度对标准前馈神经网络的提升可以是指数级别，即使只增加1层，其价值也可能是指数级的。
两层隐藏层神经网络可以表示哪些函数？
使用线性阈值激活函数的神经网络，用两层隐藏层可以表示任何在该范围内的函数。
提升机制在容量分析中的收敛速度如何？
整个提升机制的收敛速度非常快，第一和第二级提升的容量表征与统计物理复制方法获得的结果相吻合。
