【vLLM 学习】Vision Language Embedding
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
本文介绍了如何使用vLLM进行离线推理，生成多模态嵌入，并展示了符合HuggingFace模型库规范的文本和图像提示格式。
🔎
延伸解读
多模态嵌入的应用场景
使用vLLM生成多模态嵌入可以广泛应用于图像识别、自然语言处理等领域。通过结合文本和图像信息，模型能够更好地理解和处理复杂的查询，提升用户体验。
遵循HuggingFace规范的重要性
在使用vLLM时，遵循HuggingFace模型库的提示格式至关重要。这不仅确保了模型的兼容性，还能提高生成嵌入的准确性，避免因格式错误导致的运行失败。
查询模态的选择
在进行多模态查询时，选择合适的模态（文本、图像或两者结合）会直接影响模型的输出效果。用户应根据具体需求选择最适合的模态，以获得最佳的嵌入结果。
❓
Q&A
vLLM是什么？
vLLM是一种用于离线推理的模型，能够生成多模态嵌入。
如何使用vLLM生成多模态嵌入？
使用vLLM时，需要遵循HuggingFace模型库中的提示格式，并调用相应的模型运行函数。
vLLM支持哪些查询模态？
vLLM支持文本查询、图像查询和文本+图像查询三种模态。
run_e5_v函数的作用是什么？
run_e5_v函数用于处理文本和图像的嵌入请求，并生成相应的提示。
如何获取查询数据？
可以使用get_query函数，根据指定的模态返回相应的查询数据。
vLLM的主要模型运行函数有哪些？
vLLM的主要模型运行函数包括run_e5_v和run_vlm2vec。
🏷️
