通过Databricks Model Serving的新更新加速GenAI应用开发
内容提要
Databricks Model Serving推出新的更新，包括访问新的大型语言模型、更容易的发现、简化的定制选项和改进的监控。这些改进帮助用户更快地开发和扩展GenAI应用，降低成本。用户可以通过统一的界面访问新的开源和专有模型，并通过统一的API和SQL接口进行比较、实验和选择最佳模型。Databricks还提供了新的功能，如个性化主页、通用搜索、向量搜索、函数调用、守护栏、秘密UI和推理表。推理表支持所有类型的端点监控，用户可以使用现有的数据工具评估、监控和优化AI模型。
延伸解读
统一接口简化模型选择与实验
Databricks Model Serving通过统一的OpenAI兼容API和SQL接口，让用户能够轻松访问和比较开源与专有模型。新加入的DBRX、Llama-3等开源模型以及Gemini Pro、Claude 3等外部模型，均在统一界面中提供。这降低了实验复杂度，帮助团队快速选择最适合的模型，而无需管理多个供应商接口。
增强的发现与搜索功能
随着模型数量增加，发现合适模型变得困难。Databricks推出了个性化主页和通用搜索功能。个性化主页根据用户常用操作展示相关模型，而通用搜索支持直接查找模型和端点。这些功能减少了发现时间，促进了模型重用，使团队能更高效地启动新项目。
构建复合AI系统的工具支持
大多数GenAI应用需要组合多个LLM或集成外部系统。Databricks Model Serving支持使用LangChain或Python代码部署自定义编排逻辑，并新增了向量搜索（GA）、函数调用（预览）、守护栏（预览）和秘密UI等功能。这些工具帮助用户构建端到端的复合AI系统，简化了生产级应用的开发与管理。
推理表实现全面监控
监控AI模型与部署同样重要。推理表现已支持所有端点类型，包括GPU部署和外部托管的模型。它持续捕获输入和预测并记录到Unity Catalog Delta表，用户可利用现有数据工具评估、监控和微调模型。这确保了模型性能的持续优化，降低了运维负担。
Q&A
Databricks Model Serving的新更新有哪些主要功能？
新更新包括访问大型语言模型、简化的发现和定制选项、改进的监控等功能。
如何通过Databricks访问开源和专有模型？
用户可以通过统一的API和SQL接口访问新的开源和专有模型，便于比较和选择最佳模型。
推理表在Databricks中有什么作用？
推理表支持所有类型的端点监控，帮助用户评估和优化AI模型。
Databricks如何简化GenAI应用的开发过程？
通过提供新的大型语言模型、个性化主页、通用搜索和改进的监控，Databricks简化了GenAI应用的实验、定制和部署。
Databricks的个性化主页有什么新功能？
个性化主页根据用户的常见操作和工作负载进行定制，展示最先进的模型以便于发现。
如何在Databricks中构建复合AI系统？
用户可以使用LangChain或Python代码部署自定义的编排逻辑，从而管理和部署端到端应用。
