6行代码，1行命令！轻松实现多模态（视觉）模型离线推理 & 在线服务

LMDeploy发布了v0.2.6版本，支持多模态（视觉）模型（VLM）推理和服务。使用LMDeploy可以简单地完成推理和建立服务。支持多种输入形式和多轮对话接口。可以将VLM模型封装为服务，类似于OpenAI或gradio服务。可以通过设置推理引擎参数来解决多卡并行、内存占用和序列长度等问题。欢迎关注LMDeploy项目。