💡
原文英文,约400词,阅读约需2分钟。
📝
内容提要
Apache DolphinScheduler是一个分布式可视化DAG工作流调度系统。本文介绍了通过Ambari安装DolphinScheduler的步骤,包括服务包放置、重启Ambari-server、配置MySQL作为元数据库、处理错误及复制MySQL驱动等。完成后可通过Ambari启动DolphinScheduler并自动初始化元数据。
🎯
关键要点
- Apache DolphinScheduler是一个分布式可视化DAG工作流调度系统。
- Ambari是管理Hadoop集群的工具,虽然不直接支持DolphinScheduler的安装,但可以通过自定义服务集成。
- 将服务安装包放置在指定目录:/var/lib/ambari-server/resources/stacks/HDP/3.1/services。
- 重启Ambari-server以完成集成:使用命令sudo ambari-server restart。
- 在Ambari网页上添加服务并选择DolphinScheduler,配置MySQL作为元数据库。
- 选择至少两个DS-master节点、两个DS-ALERTS和DS-APIs,其他节点作为DS-worker节点。
- 处理与'hue-desktop-ini'相关的错误,修改params.py脚本。
- 将MySQL驱动复制到所有节点的libs目录。
- 更改所有服务的所有权为hdfs用户。
- 在Ambari管理平台启动DolphinScheduler,元数据将自动初始化并创建表。
🏷️
标签
➡️