Databricks Runtime 18 推出按需状态重分区功能,允许有状态流查询在不丢失检查点状态的情况下调整分区数。此前分区数在创建检查点时固定,修改无效,只能重建状态。新功能通过停止、设置 spark.sql.streaming.stateStore.partitions 并重启,安全地重新分配状态,适用于聚合、连接、去重等场景,Coveo 借此将 S3 API 成本降低 40%。
完成下面两步后,将自动完成登录并继续当前操作。