VLLM Benchmark 是一个测试模型性能的工具，支持多种推理后端。文章记录了模型服务和客户端的启动过程，并展示了使用随机输入和 ShareGPT 数据集进行性能测试的结果，包括请求成功率、生成的令牌数和延迟等指标。通过调整请求速率和输入长度，可以优化性能。