数字计算机突破维数诅咒:通过有限几何实现自适应边界

原文约500字,阅读约需2分钟。发表于:

通过利用离散结构,研究表明在实际计算机上实现的模型中统计学习中的维度灾难被系统性地打破。我们得到了基于内核和深度 ReLU MLP 回归器的新的无维度率的广义界限,并使用新的非渐近测度集中结果导出,该结果在任意有限度量空间上的概率测度与其经验版本之间的 $1$-Wasserstein 距离测量时成立。

本文提出了一种使用分布式神经计算算法克服维度灾难的理论方法。通过模块化分布式深度学习范式,可以在只加载少量参数到GPU VRAM的情况下实现任意精度。实验证明,该模型在回归和分类任务中表现出更好的性能。

相关推荐 去reddit讨论