本文介绍了一种内存高效的预训练语言模型适应方法，通过矩阵分解和量化部分的更新实现。实验结果表明，该方法在适应不同模型时优于其他基准方法，并能实现更激进的量化。

该论文介绍了一种名为Hydra的适应方法，利用预训练权重经过线性组合来明确leveraging预训练权重的适应方法，并改善了学习特征在不同下游任务中的泛化性能。实验证明了Hydra方法的高效性和卓越性能，并展示了它在各种应用中的潜在影响和效果。