Python Load 98

Airflow是一个流行的Python流水线编排工具，允许用户配置复杂的多系统工作流，可以在任意数量的工作节点上并行执行。用户可以在单个流水线中包含bash、Python和SQL操作。Airflow可以根据任务之间的依赖关系确定哪些任务可以并行运行，哪些必须在其他任务之后运行。Airflow使用Python编写，用户可以添加自定义功能的操作符，可以做任何Python可以做的事情。