内容提要
Databricks AI Search推出高QPS扩展功能,用户可通过设置target_qps参数自动配置基础设施,无需手动管理副本或节点。该功能支持搜索栏、推荐系统和实时实体解析等场景,提供监控和性能优化,并计划未来支持自动扩展和存储优化端点。
延伸解读
从原型到生产的门槛降低
传统上,将搜索从原型推向生产需要手动管理副本、节点和负载均衡器,每个新用例都要重复这些工作。Databricks AI Search通过一个参数target_qps自动配置基础设施,省去了容量规划和负载均衡的繁琐步骤。这降低了上线门槛,使团队能更快地将搜索功能部署到生产环境,尤其适合需要快速迭代的实时应用。
注意认证方式对性能的影响
文章明确指出,使用个人访问令牌(PAT)的流量被限制在每秒几十个查询,仅适合原型开发;而服务主体认证则通过性能优化的网络路由,支持高QPS生产负载。因此,在配置生产环境时,务必使用服务主体认证,否则即使设置了高target_qps,实际性能也可能受限于认证方式。
监控与容量规划的建议
高QPS扩展功能提供了端点UI,可监控请求速率、延迟和健康状态,并支持通过Genie集成分析流量模式。文章建议利用这些工具来理解流量特征,并为target_qps设置足够的余量以应对峰值。这提醒用户,虽然配置简化了,但合理的容量规划仍需基于实际监控数据,避免因余量不足导致性能瓶颈。
Q&A
Databricks AI Search的高QPS扩展功能是什么?
Databricks AI Search的高QPS扩展功能允许用户通过设置target_qps参数,自动配置基础设施以满足目标每秒查询数(QPS),无需手动管理副本或节点。该功能已正式发布(GA),支持标准端点扩展到数千QPS。
如何启用Databricks AI Search的高QPS扩展?
您可以在创建端点时设置target_qps参数,或通过SDK、REST API或端点UI更新现有端点。设置后,Databricks会自动配置计算容量以满足目标QPS。新容量在端点上的索引下次创建或同步时生效。
高QPS扩展适用于哪些实时生产场景?
适用于搜索栏(如电商产品搜索、流媒体内容发现、语音搜索)、推荐/个性化系统(如“你可能还喜欢”面板、个性化信息流)以及实时实体解析(如身份匹配、去重、目录查询)。这些场景通常需要高QPS和低延迟。
高QPS扩展如何监控和优化性能?
端点UI现在显示每秒请求数、请求延迟和端点健康状态。您可以使用服务主体认证以获得最佳性能,因为服务主体流量通过性能优化的网络路由,而个人访问令牌(PAT)流量被限制在几十QPS,仅适合原型开发。此外,可以使用端点可观测性UI和Genie集成来了解流量模式并设置足够的target_qps余量。
高QPS扩展与Unity Catalog和Delta Sync兼容吗?
是的,高QPS扩展保持Unity Catalog治理和Delta Sync不变。同一个端点可以从原型扩展到生产流量,无需离开平台。
高QPS扩展的未来计划是什么?
计划在今年晚些时候支持自动扩展以应对流量峰值(无需手动容量规划或调整),并支持存储优化端点。