一种用于改进泛化能力的正则化 1NN 分类器的新方法

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本文研究了在有噪声标签的情况下,过度参数化的深度神经网络的正则化方法。实验结果表明,通过参数与初始化之间的距离和为每个训练示例添加一个可训练的辅助变量,可以有效提高模型的泛化性。泛化误差的上界独立于网络的大小,可达到无噪声标签情况下的水平。

🎯

关键要点

  • 研究了有噪声标签情况下的深度神经网络正则化方法。

  • 有效的正则化方法包括参数与初始化之间的距离和可训练的辅助变量。

  • 实验结果表明这些方法能有效提高模型的泛化性。

  • 泛化误差的上界独立于网络的大小,能够达到无噪声标签的水平。

➡️

继续阅读