Sinkhorn 距离最小化的知识蒸馏
内容提要
该文综述了知识蒸馏与最优传输结合的研究，包括R2KD、WCoRD、RKD等方法，利用Sinkhorn距离和Wasserstein距离实现师生知识转移，应用于跨语言摘要、度量学习、神经机器翻译及生成模型等任务，在CIFAR-100、ImageNet等数据集上超越现有方法。
延伸解读
Sinkhorn距离在知识蒸馏中的核心作用
文章指出，Sinkhorn距离作为最优传输的一种高效近似，被用于知识蒸馏中衡量师生分布之间的差异。例如，跨语言摘要框架利用Sinkhorn Divergence实现知识转移，而模仿学习则通过最小化占用量度量之间的Sinkhorn距离来定义目标。这些方法表明，Sinkhorn距离能够有效处理非重叠分布，为知识蒸馏提供了新的优化视角。
方法演进：从Wasserstein到Sinkhorn的多样化探索
文章综述了多种基于最优传输的知识蒸馏方法，包括WCoRD（融合Wasserstein距离与对比学习）、RKD（关系知识蒸馏）以及R2KD（结合关联距离与网络修剪）。这些方法在CIFAR-100、ImageNet等数据集上超越了现有技术，展示了最优传输在知识蒸馏中的潜力。同时，计算效率的提升（如Nyström方法与Sinkhorn Scaling结合）也为大规模数据应用提供了可能。
应用场景与性能优势
文章提到，基于Sinkhorn距离的知识蒸馏已应用于跨语言摘要、度量学习、神经机器翻译和生成模型等任务。在跨语言摘要中，该方法实现了高效的师生知识转移；在度量学习中，RKD甚至超越了教师模型；在神经机器翻译中，TIE-KD通过层次排序损失和迭代蒸馏提升了性能。这些应用表明，Sinkhorn距离能够适应不同任务的需求，并带来显著的性能提升。
Q&A
Sinkhorn距离在知识蒸馏中有什么作用？
Sinkhorn距离被用于知识蒸馏中实现师生之间的知识转移，例如在跨语言摘要框架中通过Sinkhorn Divergence进行知识转移，以及在模仿学习中通过最小化占用量度量之间的Sinkhorn距离来实现。
有哪些知识蒸馏方法结合了最优传输？
结合最优传输的知识蒸馏方法包括R2KD（利用关联距离和网络修剪）、WCoRD（融合Wasserstein距离和对比学习）、RKD（关系知识蒸馏）、以及基于Sinkhorn Divergence的跨语言摘要框架等。
WCoRD方法有什么特点？
WCoRD是一种融合Wasserstein距离和对比学习的知识蒸馏方法，可以在压缩模型和跨模态迁移等任务上超越现有的方法。
关系知识蒸馏（RKD）是如何工作的？
关系知识蒸馏（RKD）通过将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。
知识蒸馏在神经机器翻译中有哪些应用？
在神经机器翻译中，知识蒸馏的技术包括发现知识来源于教师的top-1预测，以及提出TIE-KD方法，该方法包含层次排序损失和迭代蒸馏等措施，实验证明TIE-KD优于基准模型，具有更高的潜力和泛化性能。
Sinkhorn距离的计算有哪些高效方法？
一种新的计算Sinkhorn距离的方法结合了Nyström方法和Sinkhorn Scaling，具有显著的计算效率，适用于海量数据。
