Langchain-Chatchat 部署（默认ChatGLM-6B 模型，本地可用）
内容提要
本文介绍了在Windows 11 PRO环境下安装和部署Langchain-Chatchat的步骤，包括安装Python 3.10.11和CUDA Toolkit 12.1，配置Git和pip环境，解决常见问题，拉取仓库，安装依赖，下载模型，初始化知识库和配置文件，通过启动脚本启动服务。硬件要求包括显存和内存大小，推荐使用的GPU包括RTX 3090、RTX 4080等。
延伸解读
环境配置的关键点
文章强调使用Python 3.10.11而非最新版，并安装CUDA Toolkit 12.1以确保兼容性。网络问题常导致下载失败，建议设置代理并使用国内pip镜像源。这些细节是部署成功的基础，忽略可能导致后续步骤报错。
常见错误与快速修复
部署中可能遇到Torch未编译CUDA支持、端口占用、依赖安装错误等问题。文章提供了具体解决方案，如重装对应CUDA版本的PyTorch、修改server_config.py中的端口、安装setuptools_scm等。提前了解可减少调试时间。
硬件需求与模型选择
显存需求随模型规模增加，7B模型需14GB以上显存，推荐RTX 4080 16G；14B模型需30GB以上。文章还给出了FP16和Int4的显存估算公式，并列出适合家用和云服务器的GPU型号，帮助用户根据硬件选择模型。
启动与参数定制
使用startup.py脚本可一键启动所有服务，并通过参数如--all-webui、--llm-api等指定服务类型。若想使用非默认模型，可通过--model-name选项指定，例如Qwen-7B-Chat。灵活运用参数可满足不同部署需求。
Q&A
在Windows 11上部署Langchain-Chatchat需要安装哪些关键软件？
需要安装Python 3.10.11（不要安装最新版本）、CUDA Toolkit 12.1（建议版本），以及Git和pip环境。
如何解决Langchain-Chatchat启动时提示“Torch not compiled with CUDA enabled”错误？
这是因为PyTorch不支持CUDA。需要先卸载现有的torch、torchvision和torchaudio，然后使用PyTorch官网提供的对应CUDA版本的安装命令重新安装，例如：pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121。
Langchain-Chatchat对硬件有什么要求？
对于7B模型，显存至少14GB，推荐RTX 4080 16G及以上；14B模型需要30GB以上显存，推荐V100 32G；39B模型需要69GB以上，推荐A100 80G；72B模型需要145GB以上，需多卡。内存至少应大于模型运行的显存。
如何下载Langchain-Chatchat所需的模型？
推荐使用Git LFS下载模型，避免手动下载。先安装git lfs，然后克隆模型仓库，例如：git lfs install，然后git clone https://huggingface.co/THUDM/chatglm3-6b 和 git clone https://huggingface.co/BAAI/bge-large-zh。
如何启动Langchain-Chatchat服务？
使用一键启动脚本：python startup.py -a，这会启动所有Fastchat服务、API服务和WebUI服务。按Ctrl+C可关闭所有服务。
Langchain-Chatchat支持哪些启动参数？
支持-a（或--all-webui）启动WebUI所有依赖服务，--all-api启动API所有依赖服务，--llm-api启动Fastchat所有依赖的LLM服务，--openai-api仅启动controller和openai-api-server服务，以及其他单独服务启动选项。可用--model-name指定非默认模型。
