无名小站
·
ChatGLM-6B本地cpu部署
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
ChatGLM-6B是清华团队研发的机器人对话系统，类似ChatGPT。可以部署本地cpu版本，需要克隆源码、安装依赖、修改源码、运行web_demo.py。模型加载时会下载模型文件和编译动态库。作者遇到了下载模型文件失败和找不到transformers_modules模块的问题，解决方法是手动下载模型文件和降级transformers版本。
🎯
关键要点
- ChatGLM-6B是清华团队研发的机器人对话系统，类似ChatGPT。
- ChatGLM默认支持GPU加速，内存需求为32G以上，但可以部署本地CPU版本。
- 本地部署步骤包括克隆源码、安装依赖、修改源码以支持CPU、运行web_demo.py。
- 模型首次加载时会下载模型文件并编译动态库，可能会遇到下载失败的问题。
- 解决下载失败的方法是手动下载模型文件并放置在指定目录。
- 可能会遇到找不到transformers_modules模块的问题，解决方法是降级transformers版本。
➡️
