使用Ambari安装DolphinScheduler:超级简单!

使用Ambari安装DolphinScheduler:超级简单!

💡 原文英文,约400词,阅读约需2分钟。
📝

内容提要

Apache DolphinScheduler是一个分布式可视化DAG工作流调度系统。本文介绍了通过Ambari安装DolphinScheduler的步骤,包括服务包放置、重启Ambari-server、配置MySQL作为元数据库、处理错误及复制MySQL驱动等。完成后可通过Ambari启动DolphinScheduler并自动初始化元数据。

🎯

关键要点

  • Apache DolphinScheduler是一个分布式可视化DAG工作流调度系统。
  • Ambari是管理Hadoop集群的工具,虽然不直接支持DolphinScheduler的安装,但可以通过自定义服务集成。
  • 将服务安装包放置在指定目录:/var/lib/ambari-server/resources/stacks/HDP/3.1/services。
  • 重启Ambari-server以完成集成:使用命令sudo ambari-server restart。
  • 在Ambari网页上添加服务并选择DolphinScheduler,配置MySQL作为元数据库。
  • 选择至少两个DS-master节点、两个DS-ALERTS和DS-APIs,其他节点作为DS-worker节点。
  • 处理与'hue-desktop-ini'相关的错误,修改params.py脚本。
  • 将MySQL驱动复制到所有节点的libs目录。
  • 更改所有服务的所有权为hdfs用户。
  • 在Ambari管理平台启动DolphinScheduler,元数据将自动初始化并创建表。
➡️

继续阅读