在 Kubernetes 上启动一个推理服务并不难，vLLM + Deployment 就能跑起来。但是服务多起来以后，模型从哪里加载、使用哪个 Runtime、GPU 怎么分配、服务怎么暴露，这些配置很快就会散落在一堆 YAML 里。KServe 就是用来解决模型服务管理问题的。 本文从零安装 KServe Standard 模式和 Envoy Gateway，通过本地 PVC 部署...

本文介绍了在Kubernetes环境中自托管大型语言模型（LLM）的设置，使用vLLM作为推理引擎，LINSTOR提供持久存储。自托管可降低成本、提高控制力，并满足数据合规要求。通过创建持久卷声明和密钥，部署vLLM推理服务器，确保模型权重缓存以加快重启速度，支持高并发请求，适合混合AI应用。

华为开源的KVarN是一种KV Cache量化技术，通过Hadamard旋转和双轴方差归一化，有效解决大模型推理中的显存瓶颈。该技术在2-bit量化下保持接近FP16的精度，显存占用降低至原来的三分之一到五分之一，吞吐量超越FP16，且无需校准，已集成至vLLM框架。

在新加坡的 PyTorch 会议上，Bugen Zhao 介绍了 vLLM 团队用 Rust 重写 Python 前端的工作，以解决高并发下的性能瓶颈。Rust 前端的吞吐量提升约 5.16 倍，CPU 占用降低，长尾延迟收敛，用户无需额外操作，Rust 二进制文件已打包进 Python Wheel，支持主要 API。

本文介绍了如何在内网使用vLLM和Qwen3.5部署AI模型。部署环境要求为NVIDIA A100/V100 GPU和Ubuntu 22.04 LTS系统。首先安装GPU驱动和CUDA Toolkit，然后通过UV管理Python环境并安装vLLM。接着，使用Hugging Face CLI下载Qwen3.5模型并配置运行参数。最后，利用Nginx进行负载均衡，以确保多GPU的高效使用。

本文探讨了大语言模型中KV Cache的产生与管理及其在推理过程中的重要性。KV Cache通过缓存历史K/V向量，优化生成过程并减少计算复杂度。Prefill阶段处理所有输入，而Decode阶段逐步生成输出，二者需分离以提升性能。vLLM采用页式内存管理，解决内存碎片问题，提升存储效率，确保高效的推理系统。

Kimi-K2.6是Moonshot AI于4月20日发布的开源大语言模型，具备长上下文推理和多模态理解能力。文章介绍了模型的下载、部署及性能基准测试，强调其在多项评测中的优异表现。Kimi-K2.6支持工具调用和视觉-语言输入，适合多种应用场景。

本文探讨了Kthena与vLLM-Ascend在云原生大模型推理中的应用，解决了Kubernetes在分布式推理中的拓扑约束和状态感知缺失问题。Kthena通过智能调度和流量管理提升了推理效率，降低了延迟，简化了部署流程，展现了大模型服务平台的未来潜力。

本文介绍了阿里云开源大语言模型Qwen3.5的选择与部署，提供从0.8B到397B的多种规格，适用于不同场景。推荐型号包括27B、35B-A3B和397B-A17B，分别在代码能力、性价比和综合性能上表现优异。文章还说明了如何在Kubernetes环境中使用vLLM进行模型部署及性能测试。

本文介绍了如何在生产环境中使用 vLLM 部署 GLM-5 模型，包括模型下载、镜像构建和 Docker 部署。GLM-5 是智谱 AI 最新的大语言模型，具备强大的推理能力。文章详细说明了安装 HuggingFace CLI、下载模型、构建自定义镜像及服务验证等步骤，并提供了性能基准测试结果，显示 INT4 版本在特定环境下的高吞吐量。

本文介绍了IBM研究、红帽和AMD团队开发的vLLM Triton注意力后端，旨在实现跨GPU平台的高性能。Triton是一种特定领域语言，支持用Python编写高效的GPU内核，兼容多种模型和硬件。通过优化内核设计和微基准测试，Triton后端在AMD、NVIDIA和Intel平台上表现优异，成为默认的注意力后端。