内容提要
Databricks 经典计算团队指出,固定请求速率限制不适合集群创建等长时异步操作:请求毫秒级返回,后台工作流却持续数分钟,依赖变慢时在途工作激增,内部重试还会引发重试风暴。团队改用自适应并发限制,为每个活跃工作流分配槽位,依据供给延迟和线程池饱和等信号动态调整并发数,并配合排队、公平调度、重试退避和保留 API 速率上限作为最终防护。上线后默认请求速率上限提高 7.5 倍,限流错误减少逾 99.99%,并移除了百余项客户定制覆盖。
延伸解读
固定速率限制为何在长时操作中失效
文章指出,集群创建等异步操作中,API 请求毫秒级返回,但后台工作流持续数分钟。固定请求速率限制只控制入口请求数,无法感知在途工作量和依赖健康度。当云厂商变慢时,相同请求速率会导致在途工作激增,内部重试还会引发重试风暴,而入口限流器看不到这些重试。因此,固定速率限制在健康时可能拒绝本可处理的请求,在降级时又无法阻止过载。
自适应并发限制如何工作
团队为每个活跃的集群创建工作流分配一个槽位,槽位覆盖整个供应过程,包括 API 返回后的后台工作。控制器根据供应延迟和线程池饱和等信号动态调整并发槽位数:拥堵时减少并发,恢复时谨慎增加。槽位不占用线程,运行中的集群也不占槽位。这种机制直接限制未完成的工作量,而非入口请求速率,从而在依赖变慢时自动减缓新工作启动。
排队与公平调度的配套设计
文章强调,并发限制只决定启动多少工作,还需决定谁等待、等多久。系统将“服务降级导致的限流”与“客户突发流量”区分开,避免误判。排队请求应是小记录而非运行中的工作线程,并需限制队列大小和等待时间,使过期或拒绝成本低廉。公平调度确保多租户争用时按份额分配,同时允许利用空闲容量。这些设计共同避免短暂拥堵演变为长时间延迟。
上线效果与适用边界
初始部署分析报告显示,默认集群创建请求速率上限提高 7.5 倍,限流错误减少逾 99.99%,并移除了百余项客户定制覆盖。此后很少有客户触及更高上限,也未新增手动覆盖。但文章也指出,对于资源成本差异大的操作,单槽位计数可能过粗,可考虑加权槽位或分离限制;并发限制不能修复不可用的依赖,需配合重试退避和尝试次数上限。
Q&A
为什么 Databricks 认为固定请求速率限制不适合集群创建这类操作?
集群创建是长时异步操作:API 请求毫秒级返回,但后台工作流持续数分钟,且耗时依赖云厂商等外部依赖的健康状况。固定请求速率限制只控制入口请求数,无法感知在途工作量和系统容量变化。当依赖变慢时,相同请求速率会导致在途工作激增,而内部重试又不会被入口限流看到,可能引发重试风暴。
自适应并发限制是如何工作的?
系统为每个活跃的集群创建工作流分配一个槽位,工作流在启动前需等待槽位。控制器根据供给延迟(如云资源供给耗时)和线程池饱和等信号动态调整并发槽位数:当信号显示拥塞时减少并发数,条件恢复时谨慎增加。槽位覆盖整个供给过程,包括 API 返回后的后台工作,但不需要一直占用线程。
Databricks 如何区分“服务容量下降”和“客户突发流量”这两种限流场景?
系统分别跟踪系统健康度、每个租户的 incoming 需求以及调度决策。大量在途操作不一定代表客户发送过多请求,可能是卡在慢依赖上;而突发流量在有空闲容量且策略允许时也不一定需要限流。这种区分体现在指标和面向客户的解释中,帮助运维判断是容量问题还是异常工作负载,也让客户知道改变行为是否有用。
队列在自适应并发控制中起什么作用?有哪些设计注意事项?
队列可以吸收突发流量,让系统有时间追赶,对于耗时数分钟的操作,短暂等待通常优于立即报错后重试。设计时需限制队列大小和每个请求的等待时间,使进度可见,并在工作无法及时完成时拒绝或过期。队列中的请求应是小型记录而非占用资源的运行中 worker,过期和拒绝操作要廉价,避免大量积压同时过期时拖垮服务。
公平调度为什么重要?Databricks 如何定义公平性?
当服务需要延迟一百个请求时,让一百个客户各经历一个慢请求,还是让一个客户经历一百个慢请求,总体指标可能相同但客户体验截然不同。调度器无论是否明确指定都会做出选择。因此需要定义哪些工作优先、竞争时每个租户应得的份额,以及低优先级工作如何避免无限等待,同时在策略允许时让租户利用空闲容量。
采用自适应并发限制后取得了哪些量化成果?
默认集群创建请求速率上限提高了 7.5 倍;在报告范围内,集群创建限流错误减少了超过 99.99%;移除了百余项客户特定的速率限制覆盖。此后很少有客户触及更高的限制,也没有为这些限制新增手动覆盖。
自适应并发限制能否解决依赖完全不可用的问题?还需要哪些配合措施?
不能。并发限制无法修复不可用的依赖,但可以限制依赖恢复期间额外压力。需要配合重试退避和尝试次数上限,防止活跃工作流持续压垮正在恢复的依赖。此外,保留固定 API 请求速率上限作为最终防护,抵御异常高的入口流量。