本研究提出了DeepKD框架，旨在解决知识蒸馏中目标类与非目标类知识冲突及低置信度噪声问题。通过双重解耦和自适应去噪，显著提升了知识转移效果。

本研究提出了UWSAM模型和UIIS10K数据集，旨在解决水下实例分割中的技术不足。通过知识蒸馏和自动生成水下提示，显著提高了分割的准确性和效率，推动了水下视觉任务的发展。

本研究探讨了问答系统中链式推理生成的可解释追踪与最终性能之间的关系。研究表明，基于规则的问题分解方法并不总能确保模型输出正确答案，挑战了知识蒸馏的假设。

本研究提出了一种基于时间序列的知识蒸馏策略，用于锂离子电池容量衰减预测。经过微调的Battery-Timer模型展现出强大的零-shot泛化能力，显著提升了专家模型的多条件泛化能力。

UniME框架由格灵深瞳和阿里ModelScope等团队联合发布，刷新了MMEB训练榜纪录。该框架通过文本判别知识蒸馏和困难负样本增强微调，显著提升了多模态理解能力，适用于多种下游任务，并已开源。

本文探讨了大语言模型（LLMs）在资源受限环境中的优化问题，综述了知识蒸馏、模型量化和模型剪枝等压缩技术，提供了有效的解决方案和成功案例，为研究者和从业者在边缘设备上优化LLM提供参考。

本研究质疑知识蒸馏的安全性，提出通过在蒸馏数据集中嵌入后门触发器的对抗样本进行后门攻击的方法。实验表明，该方法能够在不影响教师模型的情况下，成功影响学生模型，揭示了知识蒸馏中的安全漏洞。

DEEVISum（蒸馏早期退出视觉语言模型用于摘要）旨在提升视频分段摘要的性能与效率。通过多模态提示和多阶段知识蒸馏，DEEVISum在保持性能的同时显著降低推理时间，F1得分达到61.1，展现出与更大模型的竞争力。

本研究提出了一种新的知识蒸馏方法——头尾关注的KL散度（HTA-KL），旨在缩小脉冲神经网络（SNN）与人工神经网络（ANN）之间的性能差距。该方法通过动态区分高低概率区域并分配适应性权重，提升知识转移的平衡性，最终在多个数据集上表现优于现有方法。

本研究提出了群体相对知识蒸馏（GRKD）框架，解决了现有知识蒸馏方法忽视教师模型关系性归纳偏置的问题。GRKD通过关注类别之间的相对排名提炼教师知识，实验表明其在细粒度分类任务中具有更优的泛化能力。

本研究探讨了知识蒸馏方法在资源受限环境中对小型语言模型性能和可解释性的影响，提出的新方法显著提升了模型表现，为大规模语言模型的应用奠定了基础。

本研究提出双空间知识蒸馏（DSKD）框架，解决了白盒知识蒸馏在输出空间和词汇不兼容性的问题。通过统一模型预测头和精确标记对齐算法，DSKD显著提升了知识蒸馏效果，实验结果表明其在多个基准测试中优于现有方法。

本研究提出了一种资源高效的波束预测方法，解决了传统方法在快速变化通信环境中的适应性不足。通过知识蒸馏将多模态网络知识转移至单模态网络，并结合自动驾驶模拟器生成的数据，显著降低计算复杂度，同时保持预测准确性。模拟结果显示，在使用教师网络10%参数的情况下，单模态模型性能达到94.62%。