【vLLM 学习】Vision Language
原文中文，约27000字，阅读约需65分钟。
📝
内容提要
本文介绍了如何使用vLLM进行离线推理，特别是在视觉语言模型中采用正确的提示格式进行文本生成。示例展示了多种模型的提示格式和参数设置，以确保在不同GPU上有效运行。
🔎
延伸解读
提示格式的重要性
在使用vLLM进行视觉语言模型的推理时，正确的提示格式至关重要。不同模型可能需要不同的提示格式，参考HuggingFace模型库中的示例可以避免常见错误。确保使用适合特定模型的格式，可以提高生成文本的准确性和相关性。
GPU内存管理
文章中提到，默认的max_num_seqs和max_model_len设置可能导致低端GPU出现内存溢出（OOM）。在选择模型和配置参数时，用户应考虑自己的硬件限制，适当调整这些参数，以确保推理过程的顺利进行。
输入模态的兼容性
在进行推理时，确保输入数据的模态（图像或视频）与所选模型的要求一致非常重要。不同模型对输入模态的处理方式不同，错误的模态可能导致推理失败或生成不相关的结果。
❓
Q&A
如何使用vLLM进行离线推理？
使用vLLM进行离线推理时，需要采用正确的提示格式进行文本生成，并参考HuggingFace模型库中的示例格式。
在使用vLLM时，如何设置模型参数？
模型参数设置应根据具体模型进行调整，示例代码中提供了多种模型的提示格式和参数设置。
vLLM支持哪些输入模态？
vLLM支持的输入模态包括图像和视频，且每种模态的处理方式不同。
使用vLLM时如何避免内存溢出？
应注意默认的max_num_seqs和max_model_len设置，可能会导致低端GPU出现内存溢出，建议根据GPU性能调整这些参数。
vLLM中如何控制生成文本的多样性？
可以通过设置温度参数来控制生成文本的多样性，温度越高，生成的文本越多样。
vLLM支持哪些模型类型？
vLLM支持的模型类型包括llava、blip-2、gemma3等，用户可以根据需求选择合适的模型。
🏷️
