自学开放世界类的鲁棒半监督学习
内容提要
本文综述开放世界半监督学习研究进展，针对未标记数据含未知类别的问题，介绍了伪标签、不确定性估计、类别分布先验、成对相似性损失、多任务课程学习、ORCA、图论框架及联邦学习FedoSSL等方法，这些方法在CIFAR、ImageNet等数据集上显著优于现有技术，并拓展至医疗图像分类。
延伸解读
开放世界半监督学习的核心挑战
文章指出，传统半监督学习假设未标记数据与标记数据同分布，但现实场景中未标记数据常包含未知类别。开放世界半监督学习需同时处理已知类分类和未知类发现，避免未知样本干扰训练。文章综述的方法均围绕这一矛盾展开，例如通过伪标签筛选、不确定性估计或课程学习来区分已知与未知样本。
方法演进：从伪标签到理论框架
文章梳理了多种技术路线：早期方法侧重伪标签和熵损失，如2022年工作利用类别分布先验生成可靠伪标签；OpenLDN采用成对相似性损失识别已知类并聚类新类；ORCA端到端处理类别不一致性；2023年图论框架提供理论保证；联邦学习FedoSSL则拓展到分布式场景。这些方法在CIFAR、ImageNet等基准上显著优于现有技术。
实际应用与领域拓展
文章提到，这些方法不仅用于通用图像分类，还拓展至医疗图像分类。例如2023年4月的工作针对医疗场景，利用双路径异常值估计和变分自动编码器预训练，处理新领域、新标签的未标记数据。这表明开放世界半监督学习在标注成本高、类别动态变化的领域具有实用价值，但文章未提供具体部署细节或临床验证结果。
Q&A
开放世界半监督学习要解决的核心问题是什么？
开放世界半监督学习要解决的核心问题是：未标记数据中可能包含标记数据中从未出现过的未知类别，而传统半监督学习假设标记与未标记数据来自相同分布，因此需要方法能够同时处理已知类和未知类。
基于伪标签的方法如何为未知类别的未标记数据生成可靠标签？
该方法利用样本不确定性和类别分布先验知识，为已知和未知类别的未标记数据生成类别分布感知型伪标签，从而提升伪标签的可靠性。
OpenLDN 方法是如何识别已知类并发现新类的？
OpenLDN 使用成对相似性损失来识别已知类别的样本，同时探测并聚类未标记数据中属于新类别的样本，从而在开放世界半监督学习中取得更好的准确性/训练时间折衷。
ORCA 方法在 ImageNet 上对已知类和未知类的改善效果如何？
ORCA 是一种端到端深度学习方法，用于处理标注和未标注数据中未知类别不一致的问题。在 ImageNet 数据集上，ORCA 对已知类别的改善为 25%，对未知类别的改善为 96%。
FedoSSL 框架解决了分布式开放环境下的什么问题？
FedoSSL 框架解决分布式和开放式环境下训练过程中异构分布未知类所导致的偏差问题，通过抑制损失增强聚合效果，并用校准模块确保知识传递一致，已在 CIFAR-10、CIFAR-100 和 CINIC-10 等数据集上验证。
这些开放世界半监督学习方法在哪些数据集上验证了有效性？
这些方法在 CIFAR-100、ImageNet-100、Tiny ImageNet、STL-10、CIFAR-10、CINIC-10 等常用图像分类数据集上进行了验证，并拓展至医疗图像分类场景，多数方法显著优于现有最先进技术。
