BriefGPT - AI 论文速递
·
基于权重感知蒸馏的半监督学习及类别分布不匹配
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
通过数学推理揭示了半监督学习中类分布不匹配导致的错误，提出了一种稳健的半监督学习框架WAD，通过权重选择性地将对目标任务有益的知识转移到目标分类器，通过探索点互信息捕捉自适应权重和高质量伪标签，最大限度地发挥无标签数据的作用并过滤未知类别。实验证明WAD在类分布不匹配下具有群体风险的紧密上界。在基准数据集和人工交叉数据集上优于其他半监督学习方法和标准基准线。
🎯
关键要点
-
通过数学推理揭示半监督学习中类分布不匹配导致的错误。
-
伪标签错误和入侵错误共同限制了半监督学习的群体风险。
-
提出稳健的半监督学习框架Weight-Aware Distillation（WAD）。
-
WAD通过权重选择性地将对目标任务有益的知识转移到目标分类器。
-
探索点互信息（PMI）以捕捉自适应权重和高质量伪标签。
-
最大限度地发挥无标签数据的作用并过滤未知类别。
-
理论上证明WAD在类分布不匹配下具有群体风险的紧密上界。
-
实验证明WAD在CIFAR10、CIFAR100和人工交叉数据集上优于其他半监督学习方法和标准基准线。
➡️
