该研究提出了一种在线知识蒸馏的新方法，通过对比损失保证了参与者在不共享输入数据的情况下学习相似特征。该方法在多个数据集上进行了性能测试，相比独立学习和其他联邦知识蒸馏方案，提高了模型的效用。

本文提出了一种半监督学习方法，使用自我训练在未标注数据上生成伪标签，实现像素级准确模型，同时提出了快速训练计划。在多个数据集上取得最优表现。