本研究提出了马特ryoshka重排序器架构，旨在解决大语言模型在计算带宽限制下的灵活调整问题。该架构支持用户自定义模型层和序列长度，并通过级联自蒸馏和分解补偿机制显著提升重排序性能，展现出良好的适应性和效果保持。

本文提出KDC-MAE架构，通过结合对比学习、自蒸馏和掩蔽数据建模，显著提升自监督学习中的多模态学习效果。

本文介绍了一种用于长尾识别的解耦监督对比学习方法，通过解耦正样本并优化它们的关系来减轻数据集不平衡的影响。同时，提出了基于块的自蒸馏方法，将知识从头类转移到尾类，以缓解尾类表征不足的问题。实验结果显示该方法在长尾识别任务中表现出较好的性能。

本研究探讨了从未标记数据中学习 K-means 聚类和深度特征表示的方法，提出了基于 Gumbel-Softmax 的梯度估计器，并通过自蒸馏和新目标函数提升了无标签图像分类的聚类准确性，最终在 ImageNet 上达到了 61.6% 的聚类精度。

本文介绍了一种名为“自蒸馏”的卷积神经网络训练框架，通过缩小网络规模来提高性能。该方法与传统知识蒸馏不同，能够内化知识以适应边缘设备。此外，文章还探讨了无监督集合学习、在线自监督自蒸馏推荐方法及其他自监督学习技术，展示了它们在少样本学习和语音表示学习中的应用潜力。

本文提出了一种增强稀疏化范式的结构化剪枝框架（STP），通过自蒸馏技术维持剪枝权重并提升模型表现。研究表明，STP在极度剪枝情况下仍能保持高准确率，且在自然语言处理领域的稀疏剪枝技术相比传统方法效果显著，实现了参数和计算量的大幅压缩而不损失性能。

本文综述多种知识蒸馏与自蒸馏方法：SDFT利用预训练扩散模型特征提升小数据集生成；Distilling step-by-step以LLM推理为监督，用更少数据训练更小更优模型；动态自纠正自蒸馏增强预训练语言模型微调；generation-distillation缩小大模型与小模型差距；自集成与自蒸馏改进BERT微调；SDRRL提升多语言性能；AS-DFD实现无数据蒸馏；多级蒸馏用于OoD检测；Mixed Distillation迁移思维链能力；L2KD缓解持续学习遗忘。

该文综述情感识别中的不确定性建模，涵盖贝叶斯训练损失、证据不确定性、深度集成与自蒸馏等方法，以处理标签模糊和缺失。这些方法在语音、文本和面部表情任务中提升了分类与不确定性估计性能，部分结合多任务与数据平衡取得领先结果。

本研究探讨了大型语言模型在补充生物医学知识图谱中的潜力，并通过改进的对比学习、自蒸馏和权重平均化阶段获得高保真度的生物医学概念和句子表示。与以往技术相比，在多个任务上性能显著提升。发布了与多种语言兼容的多语言模型，为临床流程和生物信息学研究人员提供了宝贵工具。希望BioLORD-2023成为未来生物医学应用的宝贵工具。

本研究探讨了大型语言模型在补充生物医学知识图谱中的潜力，并通过改进的对比学习、自蒸馏和权重平均化阶段获得了高保真度的生物医学概念和句子表示。在多个任务上，性能显著提升，还发布了多种语言兼容的多语言模型。BioLORD-2023成为未来生物医学应用的宝贵工具，可在临床流程中受益，并为全球生物信息学研究人员提供帮助。

本文提出了一种基于自蒸馏的变压器模型，通过设计分层门控融合策略动态学习模式之间的权重，并将软标签作为额外的训练监督，学习更具表现力的模式表示。实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。