如鱼饮水
·
使用vLLM框架加速PaddleOCR-VL
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
使用PaddleOCR-VL推理时，速度慢主要是因为模型仅支持batch_size=1。通过vLLM框架加速后，速度提升超过20倍，处理8本书仅需27分钟。安装vLLM时需注意依赖冲突，建议在虚拟环境中配置。
🎯
关键要点
- 使用PaddleOCR-VL推理时，速度慢主要是因为模型仅支持batch_size=1。
- 通过vLLM框架加速后，速度提升超过20倍，处理8本书仅需27分钟。
- 安装vLLM时需注意依赖冲突，建议在虚拟环境中配置。
- 编译安装flash-attn需要大量内存，建议调整编译参数以避免内存溢出。
- 找到预编译包后，可以顺利配置vLLM推理框架。
- 启动vLLM服务时需根据显卡调整参数，确保显存分配合理。
- 使用vLLM推理服务时，可以通过命令行或Python调用，使用方法与之前相同。
- 使用vLLM后，推理速度显著提升，处理8本书的时间大幅缩短。
➡️
