Databricks Model Serving推出新的更新，包括访问新的大型语言模型、更容易的发现、简化的定制选项和改进的监控。这些改进帮助用户更快地开发和扩展GenAI应用，降低成本。用户可以通过统一的界面访问新的开源和专有模型，并通过统一的API和SQL接口进行比较、实验和选择最佳模型。Databricks还提供了新的功能，如个性化主页、通用搜索、向量搜索、函数调用、守护栏、秘密UI和推理表。推理表支持所有类型的端点监控，用户可以使用现有的数据工具评估、监控和优化AI模型。

Databricks推出On Demand Feature Computation，简化了无法提前计算的特征服务的挑战。该功能直接集成在Unity Catalog中，使数据科学家能够从表中检索预先材料化的特征，并使用Python User-Defined Functions (UDFs)进行按需特征计算。Databricks Model Serving管理特征查找、按需函数执行和模型评分，从而简化了架构。

本文介绍了优化大型语言模型（LLM）推理性能的关键因素和优化建议，包括批处理、延迟、内存带宽和量化等。文章还介绍了一些优化技术和如何选择硬件配置。最后，文章推荐使用Databricks Model Serving来开始使用LLM推理。

Databricks Model Serving推出了GPU和LLM优化支持，可在Lakehouse平台上部署开源或自定义AI模型。该服务自动优化模型以进行LLM Serving，可将延迟和成本降低3-5倍。Databricks Model Serving还与Lakehouse内的各种LLM服务集成，提供专用计算资源以进行推理。Azure用户可以注册预览版。

MLflow AI Gateway扩展到更好地支持RAG应用程序，组织可以通过Databricks Model Serving集中管理私有托管模型API，并使用MosaicML开放模型API开发和部署RAG应用程序。本文介绍了在Databricks Lakehouse AI平台上构建和部署RAG应用程序的步骤，以及使用Llama2-70B-Chat模型和Instructor-XL模型进行文本生成和嵌入。RAG应用程序回答园艺问题并提供植物护理建议。