Cisco 使用 Apache DolphinScheduler 在 AWS 构建大数据系统实践
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
Apache DolphinScheduler是一个分布式可视化任务调度开源系统，解决大数据任务依赖和数据研发ETL依赖复杂的问题。Cisco数据团队基于DolphinScheduler进行二次开发，与AWS云上的资源特性深度融合，增加了资源依赖和存储管理、Docker镜像管理、安全访问和权限管理、自动化云上资源管理等新功能。未来计划优化镜像推送、一键同步功能、自动映射至Auth系统和权限控制。
❓
Q&A
Apache DolphinScheduler 是什么？
Apache DolphinScheduler 是一个分布式可视化任务调度开源系统，旨在解决复杂的大数据任务依赖问题。
Cisco 如何利用 DolphinScheduler 和 AWS 进行大数据管理？
Cisco 数据团队基于 DolphinScheduler 进行二次开发，深度融合 AWS 云资源，增加了资源依赖、存储管理等新功能。
DolphinScheduler 如何支持多 AWS 区域的任务调度？
DolphinScheduler 支持一个调度服务负责多个 AWS 区域的计算任务调度管理，满足多国数据合规。
Cisco 在安全管理方面采取了哪些措施？
Cisco 通过 AWS Secrets Manager 和 IAM Role 提升系统安全性，确保资源的安全访问和权限管理。
未来 Cisco 对 DolphinScheduler 有哪些优化计划？
未来计划包括优化镜像推送、一键同步功能、自动映射至 Auth 系统和权限控制等。
如何使用 Terraform 自动化 AWS 资源管理？
通过 Terraform 自动化 AWS 资源的配置和管理，简化资源分配和权限设定。
🏷️
