BriefGPT - AI 论文速递 · 2024-01-04T00:00:00Z

基于无约束 ReLU 特征模型的交叉熵类不平衡学习的神经倒塌

📝

内容提要

该研究推广了神经坍缩现象到不平衡类别的交叉熵损失下，并证明了类均值会收敛到长度不同的正交向量结构。实验证明了这一结果。