小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度

Apache DolphinScheduler 是一个开源工作流编排平台,支持多种任务类型和云服务集成,具备高可用性和可扩展性,能够动态调整 Worker 节点。本文介绍了如何在 Amazon EKS 上快速部署 DolphinScheduler,并利用亚马逊云科技插件实现高效任务调度。

深度剖析 – 基于亚马逊云科技使用 Apache DolphinScheduler 进行数据任务调度

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-06-02T22:15:16Z
基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度

本文介绍了如何通过 Apache DolphinScheduler 实现对 Amazon EMR 数据分析平台任务的统一管理与调度。DolphinScheduler 提供可视化界面和多种任务提交方式,提升了任务管理的灵活性和效率,解决了任务状态显示等问题。

基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-05-30T00:26:50Z
升级遇到障碍?本指南将带您完成从DolphinScheduler 2.0 升级到 3.0 的过程

由于项目需求,我们将数据质量模块从DolphinScheduler 2.0升级到3.0.1。测试发现3.1.1版本存在错误,任务无法正常运行,因此选择了3.0.1版本以确保稳定性。升级过程中进行了数据库表同步迁移,并备份了原数据库。安装和数据导入时需注意任务状态和警报实例管理,遇到问题时需检查日志并重新授权任务权限。

升级遇到障碍?本指南将带您完成从DolphinScheduler 2.0 升级到 3.0 的过程

DEV Community
DEV Community · 2025-05-15T09:19:47Z
使用DolphinScheduler和ProcessBuilder掌握Shell调度

本文介绍了如何使用DolphinScheduler和ProcessBuilder高效执行和监控Shell脚本。DolphinScheduler默认通过BashShellInterceptorBuilder包装Shell脚本,支持标准和sudo模式。文章还提供了Spring Boot示例,展示了工作目录配置、输出流合并、进程监控和日志输出,以实现高效的Shell任务管理和调度。

使用DolphinScheduler和ProcessBuilder掌握Shell调度

DEV Community
DEV Community · 2025-04-29T06:33:44Z
DolphinScheduler开发者必读!IDEA本地调试实用指南

本文介绍了在IDEA中设置Apache DolphinScheduler本地调试环境的步骤,包括环境准备、代码配置和服务启动。主要组件有JDK、Maven、Node.js、Zookeeper和MySQL,并详细说明了配置文件和启动方法。

DolphinScheduler开发者必读!IDEA本地调试实用指南

DEV Community
DEV Community · 2025-04-23T02:23:55Z
通过修改内存配置即时解决DolphinScheduler CPU峰值问题

一家公司在将阿里云DataWorks迁移到自建大数据平台时,遇到CPU负载激增和系统崩溃。调查发现问题源于调度器配置不当。通过调整DolphinScheduler的线程数和CPU限制,成功解决了CPU峰值问题,确保任务顺利执行。用户在修改线程设置时需平衡机器负载与并发任务需求。

通过修改内存配置即时解决DolphinScheduler CPU峰值问题

DEV Community
DEV Community · 2025-04-16T06:58:28Z
GSoC 2025 来了!Apache DolphinScheduler 需要您的提案!

谷歌夏季编码项目(GSoC)现已开启,欢迎18岁以上的学生和专业人士参与。项目旨在增强OIDC认证,提供证书和津贴,津贴范围750美元至6600美元。参与者需具备Java/Spring Boot、前端框架及OAuth2/OIDC知识。申请时间为1月27日至4月8日,编码阶段从6月2日开始。

GSoC 2025 来了!Apache DolphinScheduler 需要您的提案!

DEV Community
DEV Community · 2025-04-03T07:37:35Z
网易邮箱迁移至DolphinScheduler的旅程:10项效率提升

网易邮箱通过引入DolphinScheduler平台,优化了数据处理和任务调度,提升了开发效率和稳定性。该平台解决了数据同步和资源隔离问题,确保业务数据稳定输出。未来,网易邮箱将整合AI技术,进一步提升平台性能,推动数据治理和自动化。

网易邮箱迁移至DolphinScheduler的旅程:10项效率提升

DEV Community
DEV Community · 2025-03-27T10:29:11Z
Worker模块源代码分析:DolphinScheduler如何实现亿级任务调度

Apache DolphinScheduler的Worker模块是分布式调度系统的核心,负责任务执行和资源管理。本文分析了其源代码,探讨了任务调度、日志管理和状态更新等功能。Worker通过RPC与Master通信,处理任务的分发、暂停和终止,确保系统高效运行。

Worker模块源代码分析:DolphinScheduler如何实现亿级任务调度

DEV Community
DEV Community · 2025-03-05T07:02:07Z
注意!Apache DolphinScheduler 版本升级指南

Apache DolphinScheduler 2.0.1新增自动升级功能。升级前需备份数据和配置,检查版本兼容性。升级步骤包括停止服务、修改配置、执行数据库升级脚本及重启服务。升级后需验证服务健康和功能兼容性,必要时可回滚。

注意!Apache DolphinScheduler 版本升级指南

DEV Community
DEV Community · 2025-02-25T03:26:10Z
DolphinScheduler环境配置与服务启动常见问题解答

Apache DolphinScheduler是一个可扩展的工作流调度系统,主要用于大数据任务编排。本文整理了环境配置、服务启动、工作流执行等常见问题及解决方案,帮助用户快速定位和解决问题。建议参考官方文档和社区资源以获取更多支持。

DolphinScheduler环境配置与服务启动常见问题解答

DEV Community
DEV Community · 2025-02-18T07:16:59Z
DS缩写的混乱:当DolphinScheduler与AI超级明星碰撞时,技术圈无法逃避“同名”王者之战

“DS”一词的含义已从Apache DolphinScheduler转变为DeepSeek。尽管DolphinScheduler在大数据调度中有其价值,但在AI时代,DeepSeek以低成本和高性能的模型占据了主导地位。技术圈对此展开讨论,提出多种解决方案以实现“DS”的共同繁荣。

DS缩写的混乱:当DolphinScheduler与AI超级明星碰撞时,技术圈无法逃避“同名”王者之战

DEV Community
DEV Community · 2025-02-13T07:53:16Z
使用Ambari安装DolphinScheduler:超级简单!

Apache DolphinScheduler是一个分布式可视化DAG工作流调度系统。本文介绍了通过Ambari安装DolphinScheduler的步骤,包括服务包放置、重启Ambari-server、配置MySQL作为元数据库、处理错误及复制MySQL驱动等。完成后可通过Ambari启动DolphinScheduler并自动初始化元数据。

使用Ambari安装DolphinScheduler:超级简单!

DEV Community
DEV Community · 2025-02-10T08:11:40Z
使用DolphinScheduler API实现高效的批量工作流导入和脚本部署

本文介绍了如何通过DolphinScheduler的API实现任务批量导入和自动部署,包括创建token、构建请求头、导入任务文件、获取工作流列表和调度ID,最终实现在线部署,从而提高工作效率。

使用DolphinScheduler API实现高效的批量工作流导入和脚本部署

DEV Community
DEV Community · 2025-01-22T08:26:07Z
DolphinScheduler项目管理页面加载缓慢?优化方法在这里

Apache DolphinScheduler项目管理页面加载失败,经过检查发现请求超时。分析日志和源代码后,发现queryProjectListPaging方法存在性能瓶颈。通过添加索引优化慢查询,最终解决了页面加载问题。

DolphinScheduler项目管理页面加载缓慢?优化方法在这里

DEV Community
DEV Community · 2025-01-15T03:42:48Z
王者组合:高效实现DolphinScheduler 3.1.*与SeaTunnel 2.3.*的异构数据集成

本文介绍了如何通过DolphinScheduler和SeaTunnel实现异构数据源的数据同步,适用于构建统一的大数据仓库。文章详细阐述了环境准备、配置文件修改、源代码调整和任务验证等步骤,以确保Oracle数据库的数据成功同步到MySQL数据库。

王者组合:高效实现DolphinScheduler 3.1.*与SeaTunnel 2.3.*的异构数据集成

DEV Community
DEV Community · 2025-01-15T02:27:24Z
化工巨头的选择:威盛工程如何通过DolphinScheduler点燃数据集成的新火花

在数字化转型中,企业面临数据激增的挑战。威盛工程(中国)基于Apache DolphinScheduler提供多源数据集成解决方案,旨在提升竞争力。文章探讨了项目管理中的痛点、调度策略及技术解决方案,强调高效数据管理对决策和创新的重要性。通过DolphinScheduler,企业可实现数据统一管理、提高数据质量,满足实时需求,优化项目管理效率。

化工巨头的选择:威盛工程如何通过DolphinScheduler点燃数据集成的新火花

DEV Community
DEV Community · 2025-01-07T09:44:10Z
DolphinScheduler与SeaTunnel对比AirFlow和NiFi

在数据驱动的时代,企业面临复杂的数据处理需求。DolphinScheduler和SeaTunnel作为新兴工具,专注于大数据任务调度和数据同步,具有高性能和易部署的特点。DolphinScheduler适合大规模调度,支持多种语言,而SeaTunnel在数据源支持和内存利用上表现突出。相比之下,AirFlow和NiFi则成熟稳定,适用于数据工程和流管理。本文将比较这些工具的架构、功能和应用场景,以帮助企业选择合适的解决方案。

DolphinScheduler与SeaTunnel对比AirFlow和NiFi

DEV Community
DEV Community · 2024-12-24T07:02:38Z
DolphinScheduler与SeaTunnel对比AirFlow和NiFi

在数据驱动的时代,企业面临复杂的数据处理需求。DolphinScheduler和SeaTunnel是新兴工具,专注于大数据任务调度和数据同步,具备高性能和易部署的特点。DolphinScheduler适合大规模调度,支持多种语言,而SeaTunnel在数据源支持和内存利用上表现突出。相比之下,AirFlow和NiFi成熟稳定,适用于数据工程和流管理。本文比较这些工具的架构、功能和应用场景,以帮助企业选择合适的解决方案。

DolphinScheduler与SeaTunnel对比AirFlow和NiFi

DEV Community
DEV Community · 2024-12-24T03:26:30Z
Dolphinscheduler DAG核心源代码分析

Dolphinscheduler中的DAG(有向无环图)用于管理离线任务的生命周期,包括停止、暂停和重启。DAG包含节点信息和边关联,确保任务关系无循环。通过DAG类和DagHelper工具类构建任务定义及其关系,生成工作流图。

Dolphinscheduler DAG核心源代码分析

DEV Community
DEV Community · 2024-12-05T02:48:46Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码