NVIDIA 4090 GPU服务器部署ChatGLM3-6B教程

最近体验了ChatGLM2-6B和ChatGLM3-6B，记录了部署过程和测试功能。ChatGLM3-6B是智谱AI和清华大学联合发布的对话预训练模型，具有更强大的基础模型和更完整的功能支持。开源地址为https://github.com/THUDM/ChatGLM3。部署需要GPU服务器和FRP内网穿透。模型下载可通过HuggingFace或ModelScope。启动服务后，可使用基础Demo、OpenAI Demo和ChatGPT Next进行对话。还可在工具模式中自定义工具方法和在代码解释器模式中执行代码。