本研究探讨了过参数化对离群检测的影响,提出了一种新的离群风险度量。结果表明,当参数数量与样本数量相等时,离群风险会出现无限峰值,体现双重下降现象。此外,过参数化并不一定提高离群检测效果。
我们观察到双重下降现象在CNN、ResNet和变换器中普遍存在:随着模型规模、数据量或训练时间的增加,性能先提升后下降再提升。尽管这一现象常见,但其原因尚不完全清楚,深入研究此现象具有重要意义。
完成下面两步后,将自动完成登录并继续当前操作。