LoRA对Llama2-7B进行微调
💡
原文中文，约16700字，阅读约需40分钟。
📝
内容提要
本试验旨在对大规模言语模型进行微调，以习惯有限的GPU核算能力（单张P100）。通过采用LoRA办法，咱们能够高效地对模型进行调整，以便进一步应用于后续课程项目的开发。试验基于Llama2-7B模型进行，要求模型依据给定的金融新闻内容进行情感剖析，并以文字形式输出新闻的情感类别：”positive”、”neutral”或”negative”。为了进行试验，咱们需求装置一些必要的包。其间，peft是一个包括了咱们在本试验中将运用的LoRA办法的包。通过增加一些额外的参数，peft能够有效地对大规模的言语模型进行微调，以习惯各种下流使命。另一个包是bitsandbytes，它提供了对模型进行4-bit量化的支持，这样能够进一步削减显存的运用，节约资源。
🎯
关键要点
- 本试验旨在对大规模言语模型进行微调，以适应有限的GPU计算能力（单张P100）。
- 采用LoRA方法高效调整模型，以便应用于后续课程项目开发。
- 试验基于Llama2-7B模型，进行金融新闻内容的情感分析。
- 需要安装peft和bitsandbytes等必要包以支持LoRA微调和4-bit量化。
- FinancialPhraseBank数据集用于金融新闻情感分类，包含5000条新闻，由专家分析情感。
- 数据集分为训练集和测试集，每种情感类型选取300条数据进行训练和测试。
- 使用特定提示帮助模型理解任务，生成相应的情感标签。
- 评测方法包括将情感分类结果转化为数字表示，计算准确率和生成混淆矩阵。
- 原始模型在特定任务上的表现不理想，倾向于做出中立的猜测。
- 基于LoRA技术进行参数高效微调，设置关键参数如学习率和训练轮数。
- 训练完成后，仅保存LoRA部分参数，需与原始模型合并以便实际应用。
- 经过一轮训练，Llama模型的准确率达到80%，证明LoRA微调策略的有效性。
➡️
