本文提出了一种基于知识蒸馏的模型压缩框架，无需预训练权重，同时学习和蒸馏集成知识。实验证明，该框架在CIFAR100数据集上显著提高了ResNet110和DenseNet-BC模型的相对精度。

Delta-LoRA是一种用于微调大型语言模型的新方法，通过增量更新低秩矩阵和预训练权重来解决学习表示的问题。实验证明，Delta-LoRA优于其他低秩适应方法。

该论文介绍了一种名为Hydra的适应方法，利用预训练权重经过线性组合来明确leveraging预训练权重的适应方法，并改善了学习特征在不同下游任务中的泛化性能。实验证明了Hydra方法的高效性和卓越性能，并展示了它在各种应用中的潜在影响和效果。

Delta-LoRA是一种用于微调大型语言模型的新方法，通过增量更新低秩矩阵，将学习传播到预训练权重，解决了低秩矩阵更新的不足。实验证明Delta-LoRA在内存需求和计算成本方面与LoRA相当，且优于其他方法。