【vLLM 学习】视觉语言
💡
原文英文，约2500词，阅读约需10分钟。
📝
内容提要
本文介绍了如何使用vLLM进行离线推理，特别是在视觉语言模型中采用正确的提示格式进行文本生成。示例展示了多种模型的提示格式和参数设置，以确保在不同GPU上有效运行。
🎯
关键要点
- 本文介绍了如何使用vLLM进行离线推理，特别是在视觉语言模型中采用正确的提示格式进行文本生成。
- 对于大多数模型，提示格式应参照HuggingFace模型库中对应的示例格式。
- 示例代码展示了多种模型的提示格式和参数设置，以确保在不同GPU上有效运行。
- 注意：默认的max_num_seqs和max_model_len可能会导致低端GPU出现内存溢出。
- 每个模型的提示格式和参数设置可能有所不同，需根据具体模型进行调整。
- 提供了多种模型的示例函数，包括Aria、BLIP-2、Chameleon等。
- 每个模型的函数中都包含了模型名称、引擎参数和提示格式的设置。
- 在使用模型时，需确保输入数据的模态（图像或视频）与模型要求一致。
- 支持的输入模态包括图像和视频，且每种模态的处理方式不同。
- 提供了一个主函数main，用于解析命令行参数并执行模型推理。
- 在推理过程中，可以选择是否使用不同的提示，或在批处理推理中使用相同的图像。
- 通过设置温度参数，可以控制生成文本的多样性。
- 支持的模型类型包括llava、blip-2、gemma3等，用户可以根据需求选择。
➡️
