Cisco 使用 Apache DolphinScheduler 在 AWS 构建大数据系统实践
内容提要
Apache DolphinScheduler是一个分布式可视化任务调度开源系统，解决大数据任务依赖和数据研发ETL依赖复杂的问题。Cisco数据团队基于DolphinScheduler进行二次开发，与AWS云上的资源特性深度融合，增加了资源依赖和存储管理、Docker镜像管理、安全访问和权限管理、自动化云上资源管理等新功能。未来计划优化镜像推送、一键同步功能、自动映射至Auth系统和权限控制。
延伸解读
多区域调度与数据合规的平衡
Cisco 将 DolphinScheduler 的所有服务部署在 Webex 数据中心，却用一个调度服务管理多个 AWS 区域的计算任务。这种架构既满足了多国数据合规要求，又避免了在每个区域重复部署调度组件。对于需要跨区域调度但受数据驻留限制的企业，这种集中调度、分散执行的模式值得参考。
从 Vault 到 Secrets Manager 的安全演进
团队将密钥管理从 Cisco 自有的 Vault 迁移到 AWS Secrets Manager，并借助 IAM Role 和 Service Account 实现 Pod 级别的权限控制。这一改动不仅提升了安全性，还解决了密钥自动过期需要重启的问题。对于在 EKS 上运行敏感任务的企业，这种基于 IAM 的细粒度权限模型能有效降低密钥泄露风险。
Terraform 与 Init Container 的自动化组合
通过 Terraform 自动创建 S3 Bucket、ECR 仓库及 IAM 策略，再配合 Init Container 在 Pod 启动前拉取资源和密钥，Cisco 实现了云上资源的动态初始化。这种组合减少了人工配置，提高了环境一致性。对于需要频繁创建和销毁资源的团队，这种基础设施即代码的思路能显著提升运维效率。
未来优化方向反映的运维痛点
文章提到的镜像推送优化、一键同步 S3 资源、自动映射至 Auth 系统等计划，直指当前流程中的手动环节。例如，跳过中转打包直接推送 ECR 可缩短镜像交付时间；自动映射资源能避免手动录入错误。这些改进方向揭示了大规模调度平台在易用性和自动化上的持续挑战。
Q&A
Apache DolphinScheduler 是什么？
Apache DolphinScheduler 是一个分布式可视化任务调度开源系统，旨在解决复杂的大数据任务依赖问题。
Cisco 如何利用 DolphinScheduler 和 AWS 进行大数据管理？
Cisco 数据团队基于 DolphinScheduler 进行二次开发，深度融合 AWS 云资源，增加了资源依赖、存储管理等新功能。
DolphinScheduler 如何支持多 AWS 区域的任务调度？
DolphinScheduler 支持一个调度服务负责多个 AWS 区域的计算任务调度管理，满足多国数据合规。
Cisco 在安全管理方面采取了哪些措施？
Cisco 通过 AWS Secrets Manager 和 IAM Role 提升系统安全性，确保资源的安全访问和权限管理。
未来 Cisco 对 DolphinScheduler 有哪些优化计划？
未来计划包括优化镜像推送、一键同步功能、自动映射至 Auth 系统和权限控制等。
如何使用 Terraform 自动化 AWS 资源管理？
通过 Terraform 自动化 AWS 资源的配置和管理，简化资源分配和权限设定。
