在高斯边际下无偏学习任意ReLU激活

本研究解决了在非可实现设置中，学习任意偏向的ReLU激活的基本算法问题。目前已有的多项式时间算法仅能为更理想的无偏和有限偏向设置提供近似保证。我们的主要结果是一个多项式时间统计查询（SQ）算法，首次为任意偏向提供常数因子近似，展示了梯度下降算法的内在局限性。