ReLU 网络在紧致定义域上的全局逼近最小宽度
原文中文,约300字,阅读约需1分钟。发表于: 。本文研究了有界宽度网络的通用逼近性质,证明了使用 ReLU 等激活函数时,将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活函数和输入输出维度的普遍逼近,$L^p$ 逼近与均匀逼近存在形态分离。
本文研究了有界宽度网络的通用逼近性质,证明了使用 ReLU 等激活函数时,将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活函数和输入输出维度的普遍逼近,$L^p$ 逼近与均匀逼近存在形态分离。