ReLU-FNN 的局部利普希茨常数计算:精确性验证的上界计算
原文约300字/词,阅读约需1分钟。发表于: 。该论文主要研究采用整流线性单元(ReLUs)作为激活函数的前馈神经网络(FNNs)的局部利普希茨常数的计算,介绍了一种基于半定规划问题(SDP)和余问题的计算上界的方法,提出了一种模型简化方法并通过数值实例验证了这些方法的有效性。
该研究提出了一种变分框架来学习深度神经网络的激活函数,以增加网络容量并控制输入输出关系的Lipschitz常数的上界。实施l1约束,获得了稀疏的非线性激活函数,并在标准ReLU网络及其变化上进行了实验验证。