该文介绍了一种名为KD$^{3}$的新方法，用于从互联网收集训练实例并学习轻量级学生网络。该方法通过教师网络和学生网络的综合预测动态选择有用的训练实例，并对齐两个网络的特征和分类器参数进行知识记忆。实验结果表明，KD$^{3}$能够超越现有的无数据知识蒸馏方法。

本文介绍了一种适用于非网格结构数据的新的知识蒸馏方法，通过提取局部结构信息并最小化分布之间的距离，实现了拓扑感知能力的知识传递，得到了轻量级但性能优异的学生网络。同时，该方法还应用于动态图模型，获得了在两个不同数据集上GCN模型的最新知识蒸馏性能。