BriefGPT - AI 论文速递
·
基于无约束 ReLU 特征模型的交叉熵类不平衡学习的神经倒塌
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
该研究推广了神经坍缩现象到不平衡类别的交叉熵损失下，并证明了类均值会收敛到长度不同的正交向量结构。实验证明了这一结果。
🎯
关键要点
- 该研究推广了神经坍缩现象到不平衡类别的交叉熵损失下。
- 类内特征会坍缩，但类均值收敛到长度不同的正交向量结构。
- 发现分类器权重与类均值的缩放和居中相关。
- 研究结果扩展了在平衡类别设置下的神经坍缩现象。
- 通过实际架构和数据集的实验证明了研究结果。
➡️
