本研究探讨了神经网络在分布外数据下的预测行为,发现其倾向于最优恒定解(OCS)。通过实证和理论分析,提出了增量学习的可行性及新模型架构CoSCL,以提高模型的泛化能力和记忆稳定性。
研究发现神经网络预测趋向于最优恒定解,即最小化训练数据平均损失的预测。研究展示了这种现象在不同数据集、损失函数和架构中的表现,并提出了解释。研究还展示了如何在面对分布外输入时利用这一发现实现风险敏感的决策。
完成下面两步后,将自动完成登录并继续当前操作。