使用 Kafka 泳道处理不平衡流量

HubSpot 的客户使用工作流程来自动化其业务流程。工作流由触发器和操作集合组成，触发器告诉工作流何时“注册”要处理的记录，操作集合告诉工作流如何处理这些注册的记录。有数百万个活动工作流程，每天总共执行数亿个操作，每秒执行数万个操作。一旦触发工作流，就会创建注册，并且工作流引擎开始执行工作流中的操作。理论上，这可以在接收触发器的同一进程中同步发生。然而，按照 HubSpot 的运营规模，这种方法很快就会失效：我们无法控制工作流程何时被触发，因此，如果触发器到来得太快，我们的线程池就会溢出并开始丢弃注册。不

HubSpot使用工作流程自动化业务流程，通过触发器和操作集合组成。使用Apache Kafka进行通信，引入泳道隔离分片以提供更快的体验。手动或自动策略可确定消息路由到哪个泳道，速率限制器用于检测突发流量。泳道提供了隔离交通的方法，共有十几个不同的泳道。