一种用于改进泛化能力的正则化 1NN 分类器的新方法
原文中文,约200字,阅读约需1分钟。发表于: 。我们提出了一种非参数分类器,可以学习任意边界并且具有良好的推广能力,通过用一种贪婪方法来正则化 1NN 分类器。我们称这类分类器为 Watershed 分类器。传统方法正则化 1NN 分类器是考虑 K 个最近邻。我们提出了一种可以学习与 watershed 分类器一致的表示的损失函数,并且证明其优于 NCA 基准线。
本文研究了在有噪声标签的情况下,过度参数化的深度神经网络的正则化方法。实验结果表明,通过参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量,可以有效提高模型的泛化性。泛化误差的上界独立于网络的大小,可达到无噪声标签情况下的水平。