SSD-KD是一种小规模无数据知识蒸馏方法，通过平衡合成样本的类别分布和难度来提高整体训练效率。实验证明，SSD-KD在极小规模的合成样本条件下，比许多主流方法快一个或两个数量级，同时保持卓越或竞争性的模型性能。

本研究提出了无数据的知识蒸馏方法，通过压缩大型视觉变换器模型，提升其在小型设备上的应用潜力。实验证明该方法能够优化视觉变换器的性能，使其在有限资源下仍具有较高的应用效果。

本研究提出了一种基于异构数据的去中心化学习新方法，通过无数据知识蒸馏提高性能，在不同数据集、模型架构和网络拓扑中实现了卓越的性能提升。