ReLU 网络在紧致定义域上的全局逼近最小宽度

本文研究了有界宽度网络的通用逼近性质，证明了使用 ReLU 等激活函数时，将输入空间为 [0,1]^{d_x} 的 $L^p$ 函数逼近到输出空间为 R^{d_y} 所需的最小宽度恰为 max {d_x, d_y, 2}。同时证明了对于激活函数和输入输出维度的普遍逼近，$L^p$ 逼近与均匀逼近存在形态分离。