通过信息保留实现 LLMs 的精确 LoRA 微调量化

💡 原文中文,约600字,阅读约需2分钟。
📝

内容提要

本文介绍了一种内存高效的预训练语言模型适应方法,通过矩阵分解和量化部分的更新实现。实验结果表明,该方法在适应不同模型时优于其他基准方法,并能实现更激进的量化。

🏷️

标签

➡️

继续阅读