关于随机神经网络的 Lipschitz 常数
原文中文,约300字,阅读约需1分钟。发表于: 。神经网络对输入的微小敌对扰动非常敏感,该研究在随机 ReLU 神经网络(即权重随机选择并使用 ReLU 激活函数的神经网络)中研究了 Lipschitz 常数,并在浅层神经网络中表征了 Lipschitz 常数,而在足够宽的深层神经网络中证明了 Lipschitz 常数的上下界。这些边界在深度上存在对数因子的匹配。
该研究探讨了神经网络对微小敌对扰动的敏感性,并在随机ReLU神经网络中研究了Lipschitz常数。研究表征了Lipschitz常数在浅层神经网络中的情况,并在足够宽的深层神经网络中证明了Lipschitz常数的上下界,这些边界在深度上存在对数因子的匹配。