chatglm2-6b在P40上做LORA微调
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
本文介绍了使用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。chatglm2-6b相比于chatglm有性能提升、更长的上下文、更高效的推理和更开放的协议。微调环境包括性能要求和镜像环境。LORA微调方法是冻结预训练模型权重参数，在加入额外的网络层并训练这些新增网络层参数。微调使用huggingface提供的peft工具。目前模型还在finetune中。
🎯
关键要点
- 大模型技术应用广泛，chatglm2-6b在国内开源大模型中表现突出。
- chatglm2-6b相比于chatglm有性能提升、上下文更长、推理更高效和协议更开放。
- 微调环境包括性能要求和镜像环境，P40显卡支持chatglm2-6b的显存需求。
- 使用docker镜像配置微调环境，需安装多种依赖包。
- LORA微调方法通过冻结预训练模型参数并添加额外网络层进行训练。
- huggingface提供的peft工具用于LORA微调，需注意本地模型加载路径。
- 微调结果显示模型仍在finetune中，已完成一轮迭代。
➡️
