chatglm2-6b在P40上做LORA微调
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
本文介绍了使用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。chatglm2-6b相比于chatglm有性能提升、更长的上下文、更高效的推理和更开放的协议。微调环境包括性能要求和镜像环境。LORA微调方法是冻结预训练模型权重参数，在加入额外的网络层并训练这些新增网络层参数。微调使用huggingface提供的peft工具。目前模型还在finetune中。
❓
Q&A
chatglm2-6b相比于chatglm有哪些提升？
chatglm2-6b在性能、上下文长度、推理效率和协议开放性方面都有提升。
如何在P40上配置chatglm2-6b的微调环境？
需要使用docker镜像配置环境，并安装多种依赖包以满足性能要求。
什么是LORA微调方法？
LORA微调方法通过冻结预训练模型参数，添加额外网络层并训练这些新增层的参数。
huggingface的peft工具有什么用？
peft工具用于方便地微调预训练语言模型，包括LORA微调。
chatglm2-6b的微调结果如何？
目前模型仍在finetune中，已完成一轮迭代，batch为1，epoch为3。
在微调过程中需要注意哪些事项？
需要关注模型加载路径和如何构建prompt，这对微调效果有重要影响。
🏷️
