如鱼饮水
·
使用vLLM框架加速PaddleOCR-VL
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
使用PaddleOCR-VL推理时，速度慢主要是因为模型仅支持batch_size=1。通过vLLM框架加速后，速度提升超过20倍，处理8本书仅需27分钟。安装vLLM时需注意依赖冲突，建议在虚拟环境中配置。
🎯
关键要点
- 使用PaddleOCR-VL推理时，速度慢主要是因为模型仅支持batch_size=1。
- 通过vLLM框架加速后，速度提升超过20倍，处理8本书仅需27分钟。
- 安装vLLM时需注意依赖冲突，建议在虚拟环境中配置。
- 编译安装flash-attn需要大量内存，建议调整编译参数以避免内存溢出。
- 找到预编译包后，可以顺利配置vLLM推理框架。
- 启动vLLM服务时需根据显卡调整参数，确保显存分配合理。
- 使用vLLM推理服务时，可以通过命令行或Python调用，使用方法与之前相同。
- 使用vLLM后，推理速度显著提升，处理8本书的时间大幅缩短。
❓
延伸问答
如何使用vLLM框架加速PaddleOCR-VL的推理速度？
通过使用vLLM框架，可以将PaddleOCR-VL的推理速度提升超过20倍，处理8本书仅需27分钟。
安装vLLM时需要注意哪些依赖问题？
安装vLLM时需注意与PaddlePaddle和PyTorch的依赖冲突，建议在虚拟环境中安装。
编译安装flash-attn时有哪些内存要求？
编译flash-attn需要大量内存，建议调整编译参数以避免内存溢出。
如何启动vLLM服务并调整参数？
启动vLLM服务时需根据显卡调整参数，确保显存分配合理，使用命令行启动并设置相关参数。
使用vLLM推理服务时如何调用？
可以通过命令行或Python调用vLLM推理服务，使用方法与之前相同。
使用vLLM后推理速度有多大提升？
使用vLLM后，推理速度提升超过20倍，处理8本书的时间大幅缩短至27分钟。
➡️
