使用Databricks构建生产质量的RAG应用
内容提要
Databricks宣布Vector Search的普遍可用性以及Model Serving的重大更新，使企业更容易构建高质量的生成式AI应用。通过部署具有企业上下文和指导的LLM来解决实现高质量AI应用的挑战。Databricks Vector Search被Corning用于提高检索速度和准确性。Ford Direct将Vector Search与其生成式AI解决方案集成。Databricks还宣布Model Serving Foundation Model API的普遍可用性以及Model Serving的重大更新，包括新的用户界面和对其他模型的支持。他们还提供Feature Serving和质量监控界面。将分享有关使用这些功能的详细博客。
延伸解读
企业级RAG的质量挑战
文章指出，构建面向客户的AI应用时，最大的挑战是确保输出的准确性、安全性和合规性。传统上，团队主要关注基础模型的质量，但研究表明，基础模型质量只是影响AI应用质量的众多因素之一。缺乏企业上下文和指导的LLM仍会产生幻觉，且若没有适当治理和访问控制，还可能暴露机密或不当数据。因此，实现生产质量需要系统化方法，涵盖数据准备、检索模型、语言模型、排序、后处理、提示工程等多个组件。
Vector Search的普遍可用与客户实践
Databricks宣布Vector Search普遍可用，这是一个无服务器向量数据库，专为用企业数据增强LLM而设计。Corning利用它索引了2500万份美国专利文档，构建AI研究助手，显著提升了检索速度、响应质量和准确性。Ford Direct则将其专有数据和文档集成到基于RAG的生成式AI解决方案中，创建统一聊天机器人，帮助经销商评估绩效。与Delta Tables和Unity Catalog的集成使得向量索引能随源数据实时更新，无需重新部署模型或应用。
Model Serving更新与生态扩展
Model Serving进行了重大更新，包括新的用户界面，使部署、服务、监控、治理和查询LLM更加容易；支持更多先进模型，如Claude3、Gemini、DBRX和Llama3；性能改进以部署和查询大型LLM；以及通过支持所有类型服务端点的推理表，实现更好的治理和可审计性。此外，Model Serving Foundation Model API即将普遍可用，允许从服务端点访问和查询最先进的LLM。这些更新共同降低了构建生产级RAG应用的门槛。
配套功能与后续资源
除了Vector Search和Model Serving，Databricks还提供了Feature Serving的普遍可用，使结构化上下文可用于RAG应用；以及灵活的质量监控界面，用于观察RAG应用的生产性能。文章提到，未来几天将发布详细博客，介绍如何利用这些新功能构建高质量的RAG应用，并分享关于DBRX（Databricks创建的开放通用LLM）的内部构建经验。这些资源将帮助开发者更深入地理解并应用这些能力。
Q&A
Databricks的Vector Search有什么主要功能？
Databricks的Vector Search是一个无服务器向量数据库，旨在帮助客户将企业数据与LLM结合，提升检索速度和响应质量。
如何确保生成式AI应用的输出质量？
确保生成式AI应用的输出质量需要关注准确性、安全性和合规性，并结合数据准备、检索模型和语言模型等多个组件。
Corning是如何利用Databricks提升AI应用的？
Corning利用Databricks Vector Search构建了一个AI研究助手，通过索引2500万份美国专利数据，提高了检索速度和响应质量。
Ford Direct如何使用Databricks的技术？
Ford Direct通过Databricks Vector Search集成专有数据，创建了一个统一的聊天机器人，帮助经销商评估绩效和客户参与度。
Databricks的Model Serving有哪些更新？
Databricks的Model Serving更新包括新的用户界面、对更多模型的支持以及性能改进，旨在简化LLM的部署和监控。
未来Databricks会发布哪些关于RAG应用的内容？
未来几天，Databricks将发布详细博客，介绍如何利用新功能构建高质量的生成式AI应用。
