使用 Databricks Model Serving 部署私有 LLM

Databricks Model Serving推出了GPU和LLM优化支持，可在Lakehouse平台上部署开源或自定义AI模型。该服务自动优化模型以进行LLM Serving，可将延迟和成本降低3-5倍。Databricks Model Serving还与Lakehouse内的各种LLM服务集成，提供专用计算资源以进行推理。Azure用户可以注册预览版。