本文介绍了如何在内网使用vLLM和Qwen3.5部署AI模型。部署环境要求为NVIDIA A100/V100 GPU和Ubuntu 22.04 LTS系统。首先安装GPU驱动和CUDA Toolkit,然后通过UV管理Python环境并安装vLLM。接着,使用Hugging Face CLI下载Qwen3.5模型并配置运行参数。最后,利用Nginx进行负载均衡,以确保多GPU的高效使用。
自建API中转站可集中管理多个账号,如ChatGPT和Claude,简化调度和使用。使用Sub2API程序可实现账号批量管理、自动切换和共享,建议在内网部署以提高安全性。配置过程包括添加账号、设置分组和创建API,以确保高效调用。
本文介绍了在内网部署 wiki.js 的步骤,包括安装 Node 和 npm、下载并解压 wiki.js、配置 systemd 服务、修改配置文件以支持离线模式以及手动导入语言包,最后重启服务完成部署。
完成下面两步后,将自动完成登录并继续当前操作。