内容提要
AI Search 原生支持流表、物化视图和 Iceberg v3+ 托管表,无需再建中间 Delta 表及同步管道。流表可实时索引新数据,支持新品发现与实时推荐;物化视图增量维护个性化状态,实现会话感知推荐;Iceberg 表可直接作为搜索源,免迁移统一跨系统数据。建索引流程与 Delta 表一致,降低运维开销。
延伸解读
三种数据源,三种实时智能场景
文章指出,流表、物化视图和 Iceberg 托管表分别对应不同的数据工作方式。流表适合持续变化的追加型数据,如新品、库存和用户活动,能实时索引新记录;物化视图通过聚合、过滤和连接维护个性化状态,支持会话感知推荐;Iceberg 表则让开放格式数据无需迁移即可直接搜索。读者可根据业务对数据新鲜度、状态维护和跨系统统一的需求,选择合适的数据源类型。
消除中间层,降低运维负担
此前,客户需要为流表、物化视图或 Iceberg 表单独创建 Delta 表示,并构建同步管道来保持更新,这增加了额外数据层、自定义更新逻辑和持续运维开销。现在 AI Search 直接连接这些源,索引时自动传播变更,省去了中间 Delta 表和同步管道。这意味着数据团队可以减少管道维护工作,将精力更多放在搜索应用本身,但需注意平台会处理底层管道,用户仍需按需触发同步。
统一工作流,学习成本低
无论使用 UI 还是 API,构建 AI Search 索引都沿用与现有 Delta 表源相同的工作流:创建 Delta Sync 索引并指向源表。这一流程现已扩展到流表、物化视图和 Iceberg 表,无需学习新流程。对于已熟悉 Delta 表索引的用户,迁移成本较低,可以快速将新数据源接入搜索应用。但文章未提及不同数据源在性能或限制上的差异,实际使用中需关注文档说明。
Q&A
Databricks AI Search 现在支持哪些新的数据源类型?
Databricks AI Search 现在原生支持流表(Streaming Tables)、物化视图(Materialized Views)以及使用 Iceberg v3+ 的托管表(Managed tables),此外还支持原有的 Delta 表。
使用流表作为 AI Search 数据源有什么好处?
流表可以持续接收新数据(如新品上架、库存变化、用户活动),AI Search 会实时索引新记录并保持搜索索引更新。这使得应用能够利用最新数据提升搜索体验,例如帮助用户发现新开的餐厅或基于近期趋势生成实时推荐。
物化视图如何支持个性化搜索?
物化视图可以聚合事件、过滤记录并连接多个数据源,创建个性化的状态。当底层数据变化时,视图会增量维护,AI Search 将这些变化传播到索引,从而实现会话感知推荐、基于近期活动的产品内容发现,或根据用户不断变化的兴趣和偏好定制结果。
Iceberg 托管表作为 AI Search 数据源有什么特点?
Iceberg 托管表可以直接作为 AI Search 的数据源,无需转换或迁移到其他表格式。这使得开放格式数据可用于搜索索引和其他 AI 应用,支持跨不同系统管理的产品目录搜索、统一存储在 Iceberg 表中的业务或客户数据,以及在不移动底层数据的情况下对大型分布式数据集构建搜索体验。
在原生支持之前,用户需要如何为 AI Search 准备这些数据源?
在原生支持之前,客户必须为流表、物化视图或 Iceberg 托管表创建单独的 Delta 表示,并构建管道使其与源保持同步。这增加了额外的数据层、自定义更新逻辑和持续的运维开销。
如何为流表、物化视图或 Iceberg 表创建 AI Search 索引?
无论是使用 UI 还是 API,为这些新数据源创建 AI Search 索引的工作流程与现有的 Delta 表源相同:创建一个 Delta Sync 索引并将其指向源表即可。无需学习新的工作流程,也无需额外的数据管道。