本文提出了一种新颖的雨水模拟方法DRET，结合动力学和雨天环境理论，扩展用于3D检测训练的现实雨水数据。同时，提出了一种从晴天到雨天的知识蒸馏方法SRKD，增强在雨天条件下的3D检测能力。实验结果表明，该框架能显著提高检测准确性，同时不损失效率。无论天气是雨天还是晴天，都提供了一种强大的3D检测解决方案。

知识蒸馏方法通过改进温度共享设置，提高了学生模型的性能，并在CIFAR-100和ImageNet上进行了评估。预处理方法使纯知识蒸馏方法达到了最先进方法的性能，并提供了其他蒸馏变体的收益。

知识蒸馏方法通过共享基于温度的软最大函数传递软标签。研究者提出了一种新的预处理方法，通过设置温度为logit的加权标准差，并在应用softmax和Kullback-Leibler散度之前进行Z分数预处理标准化，以提高现有基于logit的蒸馏方法的性能。实验结果表明，该方法在CIFAR-100和ImageNet上表现出显著优越性。

本文提出了一种新颖的雨水模拟方法DRET，结合动力学和雨天环境理论，扩展用于3D检测训练的现实雨水数据。同时，提出了一种从晴天到雨天的知识蒸馏方法SRKD，增强在雨天条件下的3D检测能力。实验证明，该框架能显著提高检测准确性，同时不损失效率，还能提高在晴天条件下的检测能力，提供了一种强大的3D检测解决方案。

本文介绍了一种适用于非网格结构数据的新的知识蒸馏方法，通过提取局部结构信息并最小化分布之间的距离，实现了拓扑感知能力的知识传递，得到了轻量级但性能优异的学生网络。同时，该方法还应用于动态图模型，获得了在两个不同数据集上GCN模型的最新知识蒸馏性能。

该论文提出了一种利用单张静态图片中的自由文本来学习人际互动的新方法。作者使用了基于大型语言模型生成的合成标题数据的知识蒸馏方法，成功训练出一种“理解”图像中人际互动的字幕模型。该方法在人际互动理解任务上表现优于目前最先进的图像字幕生成和情境识别模型。

该文提出了一个半监督框架，通过三个新组件优化文档级关系抽取任务。实验证明该模型在两个 DocRE 数据集上表现超过了强基线模型，F1 分数和 Ign_F1 分数分别增加了 1.36 和 1.46 分。

本文提出了一种新的知识蒸馏方法，通过建模教师模型各层之间的信息流，训练学生模型来模拟信息流。该方法通过适当的监督方案解决了训练过程中不同阶段的监管问题，并设计和训练了一个适当的辅助教师模型，作为一种代理模型，能够“解释”教师的工作方式给学生。实验证明该方法对于四个图像数据集和多种不同的评估设置均有效。

使用知识蒸馏方法训练了一个开源模型，基于GPT-3.5生成的样本。模型参数规模为350m，可在单个16gb GPU上运行，并展示了足够大的能力，可以模仿GPT-3.5。