小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度

Apache DolphinScheduler 是一个开源工作流编排平台,支持多种任务类型和云服务集成,具备高可用性和可扩展性,能够动态调整 Worker 节点。本文介绍了如何在 Amazon EKS 上快速部署 DolphinScheduler,并利用亚马逊云科技插件实现高效任务调度。

深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-06-02T22:15:16Z
基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度

本文介绍了如何通过 Apache DolphinScheduler 实现对 Amazon EMR 数据分析平台任务的统一管理与调度。DolphinScheduler 提供可视化界面和多种任务提交方式,提升了任务管理的灵活性和效率,解决了任务状态显示等问题。

基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-05-30T00:26:50Z
升级遇到障碍?本指南将带您完成从DolphinScheduler 2.0 升级到 3.0 的过程

由于项目需求,我们将数据质量模块从DolphinScheduler 2.0升级到3.0.1。测试发现3.1.1版本存在错误,任务无法正常运行,因此选择了3.0.1版本以确保稳定性。升级过程中进行了数据库表同步迁移,并备份了原数据库。安装和数据导入时需注意任务状态和警报实例管理,遇到问题时需检查日志并重新授权任务权限。

升级遇到障碍?本指南将带您完成从DolphinScheduler 2.0 升级到 3.0 的过程

DEV Community
DEV Community · 2025-05-15T09:19:47Z
使用DolphinScheduler和ProcessBuilder掌握Shell调度

本文介绍了如何使用DolphinScheduler和ProcessBuilder高效执行和监控Shell脚本。DolphinScheduler默认通过BashShellInterceptorBuilder包装Shell脚本,支持标准和sudo模式。文章还提供了Spring Boot示例,展示了工作目录配置、输出流合并、进程监控和日志输出,以实现高效的Shell任务管理和调度。

使用DolphinScheduler和ProcessBuilder掌握Shell调度

DEV Community
DEV Community · 2025-04-29T06:33:44Z
DolphinScheduler开发者必读!IDEA本地调试实用指南

本文介绍了在IDEA中设置Apache DolphinScheduler本地调试环境的步骤,包括环境准备、代码配置和服务启动。主要组件有JDK、Maven、Node.js、Zookeeper和MySQL,并详细说明了配置文件和启动方法。

DolphinScheduler开发者必读!IDEA本地调试实用指南

DEV Community
DEV Community · 2025-04-23T02:23:55Z
通过修改内存配置即时解决DolphinScheduler CPU峰值问题

一家公司在将阿里云DataWorks迁移到自建大数据平台时,遇到CPU负载激增和系统崩溃。调查发现问题源于调度器配置不当。通过调整DolphinScheduler的线程数和CPU限制,成功解决了CPU峰值问题,确保任务顺利执行。用户在修改线程设置时需平衡机器负载与并发任务需求。

通过修改内存配置即时解决DolphinScheduler CPU峰值问题

DEV Community
DEV Community · 2025-04-16T06:58:28Z
GSoC 2025 来了!Apache DolphinScheduler 需要您的提案!

谷歌夏季编码项目(GSoC)现已开启,欢迎18岁以上的学生和专业人士参与。项目旨在增强OIDC认证,提供证书和津贴,津贴范围750美元至6600美元。参与者需具备Java/Spring Boot、前端框架及OAuth2/OIDC知识。申请时间为1月27日至4月8日,编码阶段从6月2日开始。

GSoC 2025 来了!Apache DolphinScheduler 需要您的提案!

DEV Community
DEV Community · 2025-04-03T07:37:35Z
网易邮箱迁移至DolphinScheduler的旅程:10项效率提升

网易邮箱通过引入DolphinScheduler平台,优化了数据处理和任务调度,提升了开发效率和稳定性。该平台解决了数据同步和资源隔离问题,确保业务数据稳定输出。未来,网易邮箱将整合AI技术,进一步提升平台性能,推动数据治理和自动化。

网易邮箱迁移至DolphinScheduler的旅程:10项效率提升

DEV Community
DEV Community · 2025-03-27T10:29:11Z
Worker模块源代码分析:DolphinScheduler如何实现亿级任务调度

Apache DolphinScheduler的Worker模块是分布式调度系统的核心,负责任务执行和资源管理。本文分析了其源代码,探讨了任务调度、日志管理和状态更新等功能。Worker通过RPC与Master通信,处理任务的分发、暂停和终止,确保系统高效运行。

Worker模块源代码分析:DolphinScheduler如何实现亿级任务调度

DEV Community
DEV Community · 2025-03-05T07:02:07Z
注意!Apache DolphinScheduler 版本升级指南

Apache DolphinScheduler 2.0.1新增自动升级功能。升级前需备份数据和配置,检查版本兼容性。升级步骤包括停止服务、修改配置、执行数据库升级脚本及重启服务。升级后需验证服务健康和功能兼容性,必要时可回滚。

注意!Apache DolphinScheduler 版本升级指南

DEV Community
DEV Community · 2025-02-25T03:26:10Z
DolphinScheduler环境配置与服务启动常见问题解答

Apache DolphinScheduler是一个可扩展的工作流调度系统,主要用于大数据任务编排。本文整理了环境配置、服务启动、工作流执行等常见问题及解决方案,帮助用户快速定位和解决问题。建议参考官方文档和社区资源以获取更多支持。

DolphinScheduler环境配置与服务启动常见问题解答

DEV Community
DEV Community · 2025-02-18T07:16:59Z
DS缩写的混乱:当DolphinScheduler与AI超级明星碰撞时,技术圈无法逃避“同名”王者之战

“DS”一词的含义已从Apache DolphinScheduler转变为DeepSeek。尽管DolphinScheduler在大数据调度中有其价值,但在AI时代,DeepSeek以低成本和高性能的模型占据了主导地位。技术圈对此展开讨论,提出多种解决方案以实现“DS”的共同繁荣。

DS缩写的混乱:当DolphinScheduler与AI超级明星碰撞时,技术圈无法逃避“同名”王者之战

DEV Community
DEV Community · 2025-02-13T07:53:16Z
使用Ambari安装DolphinScheduler:超级简单!

Apache DolphinScheduler是一个分布式可视化DAG工作流调度系统。本文介绍了通过Ambari安装DolphinScheduler的步骤,包括服务包放置、重启Ambari-server、配置MySQL作为元数据库、处理错误及复制MySQL驱动等。完成后可通过Ambari启动DolphinScheduler并自动初始化元数据。

使用Ambari安装DolphinScheduler:超级简单!

DEV Community
DEV Community · 2025-02-10T08:11:40Z
使用DolphinScheduler API实现高效的批量工作流导入和脚本部署

本文介绍了如何通过DolphinScheduler的API实现任务批量导入和自动部署,包括创建token、构建请求头、导入任务文件、获取工作流列表和调度ID,最终实现在线部署,从而提高工作效率。

使用DolphinScheduler API实现高效的批量工作流导入和脚本部署

DEV Community
DEV Community · 2025-01-22T08:26:07Z
DolphinScheduler项目管理页面加载缓慢?优化方法在这里

Apache DolphinScheduler项目管理页面加载失败,经过检查发现请求超时。分析日志和源代码后,发现queryProjectListPaging方法存在性能瓶颈。通过添加索引优化慢查询,最终解决了页面加载问题。

DolphinScheduler项目管理页面加载缓慢?优化方法在这里

DEV Community
DEV Community · 2025-01-15T03:42:48Z
王者组合:高效实现DolphinScheduler 3.1.*与SeaTunnel 2.3.*的异构数据集成

本文介绍了如何通过DolphinScheduler和SeaTunnel实现异构数据源的数据同步,适用于构建统一的大数据仓库。文章详细阐述了环境准备、配置文件修改、源代码调整和任务验证等步骤,以确保Oracle数据库的数据成功同步到MySQL数据库。

王者组合:高效实现DolphinScheduler 3.1.*与SeaTunnel 2.3.*的异构数据集成

DEV Community
DEV Community · 2025-01-15T02:27:24Z
化工巨头的选择:威盛工程如何通过DolphinScheduler点燃数据集成的新火花

在数字化转型中,企业面临数据激增的挑战。威盛工程(中国)基于Apache DolphinScheduler提供多源数据集成解决方案,旨在提升竞争力。文章探讨了项目管理中的痛点、调度策略及技术解决方案,强调高效数据管理对决策和创新的重要性。通过DolphinScheduler,企业可实现数据统一管理、提高数据质量,满足实时需求,优化项目管理效率。

化工巨头的选择:威盛工程如何通过DolphinScheduler点燃数据集成的新火花

DEV Community
DEV Community · 2025-01-07T09:44:10Z
DolphinScheduler与SeaTunnel对比AirFlow和NiFi

在数据驱动的时代,企业面临复杂的数据处理需求。DolphinScheduler和SeaTunnel作为新兴工具,专注于大数据任务调度和数据同步,具有高性能和易部署的特点。DolphinScheduler适合大规模调度,支持多种语言,而SeaTunnel在数据源支持和内存利用上表现突出。相比之下,AirFlow和NiFi则成熟稳定,适用于数据工程和流管理。本文将比较这些工具的架构、功能和应用场景,以帮助企业选择合适的解决方案。

DolphinScheduler与SeaTunnel对比AirFlow和NiFi

DEV Community
DEV Community · 2024-12-24T07:02:38Z
DolphinScheduler与SeaTunnel对比AirFlow和NiFi

在数据驱动的时代,企业面临复杂的数据处理需求。DolphinScheduler和SeaTunnel是新兴工具,专注于大数据任务调度和数据同步,具备高性能和易部署的特点。DolphinScheduler适合大规模调度,支持多种语言,而SeaTunnel在数据源支持和内存利用上表现突出。相比之下,AirFlow和NiFi成熟稳定,适用于数据工程和流管理。本文比较这些工具的架构、功能和应用场景,以帮助企业选择合适的解决方案。

DolphinScheduler与SeaTunnel对比AirFlow和NiFi

DEV Community
DEV Community · 2024-12-24T03:26:30Z
Dolphinscheduler DAG核心源代码分析

Dolphinscheduler中的DAG(有向无环图)用于管理离线任务的生命周期,包括停止、暂停和重启。DAG包含节点信息和边关联,确保任务关系无循环。通过DAG类和DagHelper工具类构建任务定义及其关系,生成工作流图。

Dolphinscheduler DAG核心源代码分析

DEV Community
DEV Community · 2024-12-05T02:48:46Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码