内容提要
本文介绍了阿里云开源大语言模型Qwen3.5的选择与部署，提供从0.8B到397B的多种规格，适用于不同场景。推荐型号包括27B、35B-A3B和397B-A17B，分别在代码能力、性价比和综合性能上表现优异。文章还说明了如何在Kubernetes环境中使用vLLM进行模型部署及性能测试。
关键要点
-
Qwen3.5 是阿里云最新开源的大语言模型系列，提供从 0.8B 到 397B 的多种规格。
-
模型分为三大梯队：轻量稠密系列、MoE 系列和旗舰 MoE 系列，适用于不同场景。
-
推荐型号包括 Qwen3.5-27B（代码能力出色）、Qwen3.5-35B-A3B（性价比高）、Qwen3.5-122B-A10B（接近旗舰性能）和 Qwen3.5-397B-A17B（综合能力最强）。
-
模型支持视觉-语言多模态输入，原生上下文长度 256K tokens，最高可扩展至 1M tokens。
-
在 Kubernetes 环境中使用 vLLM 部署模型，提供详细的部署配置示例。
-
性能基准测试显示，INT4 版本在 GB200*4 环境下达到 1005 tok/s 的吞吐量，首 token 延迟平均 308ms。
-
文章总结了模型选择、Kubernetes 部署和性能表现的完整流程。
延伸问答
Qwen3.5模型有哪些规格可供选择？
Qwen3.5模型提供从0.8B到397B的多种规格，分为轻量稠密系列、MoE系列和旗舰MoE系列。
哪个Qwen3.5型号适合代码能力强的场景？
Qwen3.5-27B型号在代码能力上表现出色，适合代码和工程场景。
如何在Kubernetes环境中部署Qwen3.5模型？
可以通过vLLM在Kubernetes中部署Qwen3.5模型，具体步骤包括创建Deployment配置文件并设置相关参数。
Qwen3.5的性能基准测试结果如何？
在GB200*4环境下，Qwen3.5的INT4版本达到1005 tok/s的吞吐量，首token延迟平均为308ms。
Qwen3.5模型支持哪些输入类型？
Qwen3.5模型支持视觉-语言多模态输入，原生上下文长度为256K tokens，最高可扩展至1M tokens。
Qwen3.5-35B-A3B型号的性价比如何？
Qwen3.5-35B-A3B型号激活参数仅为3B，性价比极高，适合企业级服务。
