ReLU-FNN 的局部利普希茨常数计算:精确性验证的上界计算
该研究提出了一种变分框架来学习深度神经网络的激活函数,以增加网络容量并控制输入输出关系的Lipschitz常数的上界。实施l1约束,获得了稀疏的非线性激活函数,并在标准ReLU网络及其变化上进行了实验验证。
原文约300字/词,阅读约需1分钟。
该研究提出了一种变分框架来学习深度神经网络的激活函数,以增加网络容量并控制输入输出关系的Lipschitz常数的上界。实施l1约束,获得了稀疏的非线性激活函数,并在标准ReLU网络及其变化上进行了实验验证。