小红花·文摘

vLLM团队官宣创业：融资1.5亿美元，清华特奖游凯超成为联创

机器之心 ·

在AMD GPU上构建混合模型与vLLM-SR

vLLM Blog ·

更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/vLLM 是一款专为大语言模型推理加速而设计的框架，实现了。内存几乎零浪费，解决了。

【vLLM 学习】Rlhf Utils

HyperAI超神经 ·

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。

【vLLM 学习】Rlhf Colocate

HyperAI超神经 ·

vLLM新KV卸载连接器内部揭秘：智能内存传输以最大化推理吞吐量

vLLM Blog ·

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。

【vLLM 学习】Rlhf

HyperAI超神经 ·

Qwen2.5-32B和Qwen2.5-VL-32B是通义千问系列的两个大模型，分别为纯文本和多模态模型。部署前需确认硬件要求，建议使用Docker环境并安装NVIDIA工具包。模型支持中英文，具备强大推理能力，适用于图文问答和多模态推理。

vLLM 部署Qwen2.5 LLM & VLM 大模型

安志合的学习博客 ·

vLLM语义路由器v0.1 Iris：首次重大发布

vLLM Blog ·

介绍vLLM Playground：一个现代化的Web界面，用于管理和交互vLLM服务器

vLLM Blog ·

源码 examples/offline_inference/reproduciblity.py。推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →vllm.hyper.ai/

【vLLM 学习】Reproduciblity

HyperAI超神经 ·

In this post, we will describe the new KV cache offloading feature that was introduced in vLLM 0.11.0. We will focus on offloading to CPU memory (DRAM) and its benefits to improving overall...

Inside vLLM’s New KV Offloading Connector: Smarter Memory Transfer for Maximizing Inference Throughput

vLLM Blog ·

宣布 vllm.ai 网站上线及社区更新

vLLM Blog ·

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →。

【vLLM 学习】Profiling

HyperAI超神经 ·

vLLM-Omni扩散缓存加速

vLLM Blog ·

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →源码此脚本用于分析 vLLM 在特定预填充(prefill)或解码(decode)令牌形状下的 TPU 性能表现。注意：实际运行的服务器会混合处理多种形状的预填充和解码请求。假设您已在使用 TPU 环境(本测试基于 TPU...