Maestro：Netflix 开源工作流编排器
内容提要
Netflix开源了Maestro工作流编排器，用于管理大规模工作流。它支持无环和有环工作流，包括多种可重用模式。每天平均启动数千个工作流程实例并运行50万个任务。支持ETL管道、ML工作流、AB测试管道等用例。提供了运行策略、参数支持、步骤依赖关系和信号、重试策略等功能。还支持断点、时间线、聚合视图和汇总等功能。
延伸解读
有环工作流支持带来的灵活性
与仅支持有向无环图（DAG）的传统编排器不同，Maestro 支持有环工作流。这意味着工作流中可以包含循环结构，例如 foreach 循环或子工作流，从而能够更自然地表达迭代和重复任务。这种设计使得 Maestro 能够处理更复杂的场景，如机器学习模型训练中的多次迭代或数据回填中的批量处理，而无需将循环展开为静态图，简化了工作流的定义和维护。
运行策略如何影响工作流执行
Maestro 提供了多种预定义的运行策略，如顺序、严格顺序、仅第一个、仅最后一个和并行并发限制。这些策略决定了工作流实例的执行顺序和并发行为。例如，严格顺序策略会在出现阻塞错误时暂停后续执行，直到手动解决；而仅最后一个策略则确保只运行最新的实例，适合处理最新数据的场景。用户可以根据业务需求选择合适的策略，以平衡自动化与控制。
SEL 表达式语言的安全考量
Maestro 支持通过代码注入实现动态参数，但这可能带来安全风险，如无限循环导致内存溢出。为此，Netflix 开发了简单、安全、可靠的表达式语言（SEL）。SEL 基于 Java 语言规范子集，在语法树解析期间加入验证，并利用 Java 安全管理器限制访问，同时包含循环迭代限制、数组大小检查等运行时检查。SEL 在提供灵活性的同时，降低了代码注入的风险，使参数化工作流更安全。
调试与故障处理功能
Maestro 提供了断点、时间线和重试策略等功能，以增强调试和故障处理能力。用户可以在步骤上设置断点，使工作流暂停以便检查执行状态和输出数据，特别适用于开发阶段或 foreach 循环的调试。时间线记录步骤执行状态的变化及原因，帮助定位问题。重试策略支持固定间隔和指数退避，并区分平台重试和用户重试，用户可以根据需要配置重试次数，甚至将非幂等步骤的重试次数设为零。
Q&A
Maestro工作流编排器的主要功能是什么？
Maestro支持管理大规模工作流，包括无环和有环工作流，提供运行策略、参数支持、步骤依赖关系、重试策略等功能。
Maestro如何处理工作流的执行顺序？
Maestro使用预定义的运行策略来控制工作流的执行顺序，包括顺序运行、严格顺序运行和并行并发限制等策略。
Maestro支持哪些类型的工作流用例？
Maestro支持ETL管道、机器学习工作流、AB测试管道等多种用例。
Maestro如何增强工作流的灵活性？
Maestro支持动态参数和表达式语言，允许用户在工作流中实现复杂的参数化逻辑。
Maestro的安全表达语言SEL有什么作用？
SEL用于解决参数化工作流中的代码注入风险，提供安全的代码执行环境。
Maestro如何支持工作流的调试和监控？
Maestro允许用户在工作流步骤上设置断点，并提供步骤执行的时间线和聚合视图，便于调试和监控工作流状态。
