BriefGPT - AI 论文速递
·
深度神经网络的可预测外推倾向
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现，神经网络预测往往趋向于一个恒定值，通常接近于最优恒定解，即使面对不同数据集、损失函数和架构。这种行为可用于实现风险敏感的决策。
🎯
关键要点
- 神经网络预测在面对分布外数据时表现出不可预测和过度自信的特点。
- 研究发现神经网络预测趋向于一个恒定值，通常接近最优恒定解（OCS）。
- OCS是指在没有观察到输入时最小化训练数据平均损失的预测。
- 研究涵盖了8个不同分布转移的数据集，包括CIFAR10-C和ImageNet-R,S。
- 使用了不同的损失函数（交叉熵、均方误差和高斯负对数似然）和不同的架构（CNN和转换器）。
- 提出了这种行为的解释，通过实证研究和理论研究进行验证。
- 展示了如何在面对分布外输入时利用研究结果实现风险敏感的决策。
➡️
