本文介绍了如何使用vLLM进行离线推理，特别是在视觉语言模型中采用正确的提示格式进行文本生成。示例展示了多种模型的提示格式和参数设置，以确保在不同GPU上有效运行。

本研究探讨了大型语言模型在分类任务中提示格式的影响，比较了项目符号与普通英语格式。结果表明，项目符号格式通常效果更佳，但存在例外，需进一步研究以提升模型性能。