本研究提出了马特ryoshka重排序器架构，旨在解决大语言模型在计算带宽限制下的灵活调整问题。该架构支持用户自定义模型层和序列长度，并通过级联自蒸馏和分解补偿机制显著提升重排序性能，展现出良好的适应性和效果保持。

本文提出KDC-MAE架构，通过结合对比学习、自蒸馏和掩蔽数据建模，显著提升自监督学习中的多模态学习效果。

大型语言模型中提出了一种无损加速的早期退出推理方法（EESD），通过在前N层引入早期退出结构，利用部分模型生成初步令牌，并通过自蒸馏提高质量。新机制采用汤普森采样自动调节生成过程，实验显示解码时显著加速。

本文介绍了一种用于长尾识别的解耦监督对比学习方法，通过解耦正样本并优化它们的关系来减轻数据集不平衡的影响。同时，提出了基于块的自蒸馏方法，将知识从头类转移到尾类，以缓解尾类表征不足的问题。实验结果显示该方法在长尾识别任务中表现出较好的性能。

研究提出了一种增强稀疏化范式的结构化剪枝框架(STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。实验证明STP在极度激进的剪枝情况下有效，例如在ImageNet上对ResNet-50进行剪枝，保持95.11%的Top-1准确率。

本研究探讨了大型语言模型在补充生物医学知识图谱中的潜力，并通过改进的对比学习、自蒸馏和权重平均化阶段获得高保真度的生物医学概念和句子表示。与以往技术相比，在多个任务上性能显著提升。发布了与多种语言兼容的多语言模型，为临床流程和生物信息学研究人员提供了宝贵工具。希望BioLORD-2023成为未来生物医学应用的宝贵工具。

本研究探讨了大型语言模型在补充生物医学知识图谱中的潜力，并通过改进的对比学习、自蒸馏和权重平均化阶段获得了高保真度的生物医学概念和句子表示。在多个任务上，性能显著提升，还发布了多种语言兼容的多语言模型。BioLORD-2023成为未来生物医学应用的宝贵工具，可在临床流程中受益，并为全球生物信息学研究人员提供帮助。

本文提出了一种基于自蒸馏的变压器模型，通过设计分层门控融合策略动态学习模式之间的权重，并将软标签作为额外的训练监督，学习更具表现力的模式表示。实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。