vLLM-Omni - 一种高性能、成本效益高的推理与服务框架

vLLM-Omni - 一种高性能、成本效益高的推理与服务框架

云原生 云原生 ·

vLLM-Omni是一个高效的推理框架,支持文本、图像、视频和音频输入,具备低延迟执行能力。它适用于多模态助手、大规模媒体处理和实时多媒体应用,支持非自回归架构和并行生成模型。

原文英文,约200词,阅读约需1分钟。
阅读原文