该文介绍了一种名为KD$^{3}$的新方法，用于从互联网收集训练实例并学习轻量级学生网络。该方法通过教师网络和学生网络的综合预测动态选择有用的训练实例，并对齐两个网络的特征和分类器参数进行知识记忆。实验结果表明，KD$^{3}$能够超越现有的无数据知识蒸馏方法。