使用 Databricks Model Serving 部署私有 LLM
原文英文，约1000词，阅读约需4分钟。发表于：。We are excited to announce public preview of GPU and LLM optimization support for Databricks Model Serving! With this launch, you can deploy...
Databricks Model Serving推出了GPU和LLM优化支持，可在Lakehouse平台上部署开源或自定义AI模型。该服务自动优化模型以进行LLM Serving，可将延迟和成本降低3-5倍。Databricks Model Serving还与Lakehouse内的各种LLM服务集成，提供专用计算资源以进行推理。Azure用户可以注册预览版。
