对深度模型中的偏差和方差重新审视:一种对齐而非权衡的模式
原文中文,约400字,阅读约需1分钟。发表于: 。机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解,并且这两个术语之间存在一种权衡关系。然而,在本文中,我们展示了对于由深度学习为基础的分类模型集合,偏差和方差在样本级别上是一致的,其中对于正确分类的样本点,平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外,我们从两个理论角度研究了这一现象:校准和神经坍缩。我们首先理论上证明在模型被很好地校准...
本文研究了深度学习分类模型集合中偏差和方差在样本级别上的一致性,并通过实证证据和两个理论角度进行了验证和解释。研究发现,对于正确分类的样本点,平方偏差近似等于方差。从校准和神经坍缩理论的角度出发,也证明了偏差和方差之间的近似相关性。