【vLLM 学习】Multilora Inference
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
该示例展示了如何使用多路线功能进行离线推理，需HuggingFace凭证访问Llama2，并使用LoRA适配器进行SQL查询。
🎯
关键要点
-
该示例展示了如何使用多路线功能进行离线推理。
-
需要 HuggingFace 凭证才能访问 Llama2。
-
创建包含采样参数的测试提示列表，包括基准模型和 LoRA 请求。
-
定义了两个不同的 LoRA 适配器，预计使用第二个适配器的请求将在第一个适配器的请求完成后运行。
-
持续处理提示列表并处理输出。
-
初始化 LLMEngine，设置 LoRA 的数量和内存使用参数。
-
主函数设置并运行提示处理。
🔎
延伸解读
多路线功能的优势
多路线功能允许同时处理多个请求，提高了推理效率。在使用LoRA适配器时，能够根据不同的请求类型灵活调整模型的响应，适合复杂的SQL查询场景。
HuggingFace凭证的重要性
访问Llama2模型需要HuggingFace凭证，这意味着用户必须注册并获取授权。这一要求可能限制了某些用户的使用，尤其是新手或不熟悉该平台的用户。
内存管理的考虑
在初始化LLMEngine时，max_loras和max_lora_rank参数对内存使用有直接影响。用户需根据实际需求合理设置这些参数，以避免因内存不足导致的性能问题。
❓
延伸问答
如何使用多路线功能进行离线推理？
可以通过创建包含采样参数的测试提示列表，并使用LoRA适配器进行请求来实现多路线功能的离线推理。
访问Llama2需要什么条件？
需要HuggingFace凭证才能访问Llama2。
如何创建测试提示列表？
可以通过定义包含基准模型和LoRA请求的元组列表来创建测试提示列表。
LoRA适配器的作用是什么？
LoRA适配器用于在推理过程中处理不同的请求，允许在同一批次中使用多个适配器。
如何初始化LLMEngine？
通过设置模型参数、LoRA数量和内存使用参数来初始化LLMEngine。
主函数的作用是什么？
主函数设置并运行提示处理，负责初始化引擎和处理请求。
🏷️
