chatglm2-6b在P40上做LORA微调
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
本文介绍了使用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。chatglm2-6b相比于chatglm有性能提升、更长的上下文、更高效的推理和更开放的协议。微调环境包括性能要求和镜像环境。LORA微调方法是冻结预训练模型权重参数，在加入额外的网络层并训练这些新增网络层参数。微调使用huggingface提供的peft工具。目前模型还在finetune中。
🎯
关键要点
- 大模型技术应用广泛，chatglm2-6b在国内开源大模型中表现突出。
- chatglm2-6b相比于chatglm有性能提升、上下文更长、推理更高效和协议更开放。
- 微调环境包括性能要求和镜像环境，P40显卡支持chatglm2-6b的显存需求。
- 使用docker镜像配置微调环境，需安装多种依赖包。
- LORA微调方法通过冻结预训练模型参数并添加额外网络层进行训练。
- huggingface提供的peft工具用于LORA微调，需注意本地模型加载路径。
- 微调结果显示模型仍在finetune中，已完成一轮迭代。
❓
延伸问答
chatglm2-6b相比于chatglm有哪些提升？
chatglm2-6b在性能、上下文长度、推理效率和协议开放性方面都有提升。
如何在P40上配置chatglm2-6b的微调环境？
需要使用docker镜像配置环境，并安装多种依赖包以满足性能要求。
什么是LORA微调方法？
LORA微调方法通过冻结预训练模型参数，添加额外网络层并训练这些新增层的参数。
huggingface的peft工具有什么用？
peft工具用于方便地微调预训练语言模型，包括LORA微调。
chatglm2-6b的微调结果如何？
目前模型仍在finetune中，已完成一轮迭代，batch为1，epoch为3。
在微调过程中需要注意哪些事项？
需要关注模型加载路径和如何构建prompt，这对微调效果有重要影响。
➡️
