多项式神经网络的激活阈值与表达能力
内容提要
本文研究了多项式激活的深度神经网络，提出“维度”作为其表现力的度量，并探讨了不同激活函数对训练复杂性的影响。研究发现，某些网络在特定条件下无法近似任意函数，并引入了新的神经网络模型和算法，分析了其优化过程中的代数复杂度。
延伸解读
多项式激活网络表达能力的度量
文章提出“维度”作为多项式神经网络表达能力的度量标准，并探讨了其受网络结构影响的理论结果。这一度量将表达能力与优化性质、张量及多项式分解等领域联系起来，为理解多项式激活网络的表示能力提供了新的几何视角。
激活函数选择对训练复杂性的影响
不同激活函数会导致训练问题的计算复杂性差异显著。研究表明，sigmoid激活函数的训练问题可多项式时间约化到存在性理论，而正弦激活函数的训练问题则是不可判定的。这提示在实际应用中，激活函数的选择不仅影响模型表达能力，也直接关系到训练的可计算性。
图神经网络中多项式与非多项式激活的分离
对于图神经网络，多项式激活函数与非多项式激活函数在表达能力上存在分离关系。具体而言，GC2查询无法由具有多项式激活函数的图神经网络表示，而ReLU、sigmoid等非多项式激活函数在表达能力上等价且达到最大区分能力。这一结论为图神经网络中激活函数的选择提供了理论依据。
优化中的代数复杂度与临界点
通过递归算法生成多项式方程，研究揭示了训练多项式激活网络的代数复杂度。优化中复杂临界点的数量等于Segre多样性的欧几里得距离度，且显著超过相同参数数量的全连接线性网络。这意味着多项式激活网络的优化 landscape 更为复杂，可能对训练算法提出更高要求。
Q&A
多项式神经网络的表现力是如何度量的？
多项式神经网络的表现力通过“维度”来度量。
不同激活函数对神经网络训练复杂性有什么影响？
不同激活函数会导致训练问题的复杂性差异，例如sigmoid激活函数的训练问题可约化，而正弦激活函数的训练问题不可判定。
两层隐藏层的神经网络能表示哪些函数？
使用线性阈值激活函数的两层隐藏层神经网络可以表示特定范围内的函数。
多项式激活函数与非多项式激活函数之间有什么关系？
多项式激活函数与非多项式激活函数之间存在分离关系，某些查询不能由多项式激活函数的图神经网络表示。
什么是快捷线性阈值网络？
快捷线性阈值网络是一种新型神经网络，旨在解决使用线性阈值激活函数的神经网络的经验风险最小化问题。
神经多样性与学习度之间有什么关系？
神经多样性的维度与学习度相关联，学习度用作训练网络的复杂度度量。
