/filters:no_upscale()/news/2026/03/uber-scaled-data-replication/en/resources/1hivesyncjob-1771726530169.jpeg)
InfoQ
·
优步的混合云数据：工程师如何解决极大规模复制挑战
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
优步工程团队改进了数据复制平台，日处理超过1PB数据，解决了快速增长的工作负载扩展挑战。HiveSync团队基于Hadoop的Distcp框架优化了多PB工作负载，提升了复制效率和可靠性，支持云迁移和数据湖模型。通过并行化任务和改进资源管理，HiveSync实现了300PB的增量复制，并计划将这些改进作为开源补丁贡献给社区。
🎯
关键要点
- 优步工程团队改进了数据复制平台，日处理超过1PB数据。
- 该平台基于Hadoop的Distcp框架，解决了快速增长的工作负载扩展挑战。
- HiveSync团队优化了多PB工作负载，提升了复制效率和可靠性。
- HiveSync支持云迁移和数据湖模型，通过并行化任务和改进资源管理实现了300PB的增量复制。
- HiveSync架构将资源密集型任务转移到Application Master，减少了HDFS客户端争用。
- 优化后，HiveSync的增量复制能力提高了五倍，支持Uber的云迁移。
- 增强的可观察性帮助工程师监控工作负载并预防故障。
- HiveSync团队计划进一步优化并行化、资源管理和网络效率。
- 优步计划将这些改进作为开源补丁贡献给社区，提升管理极大规模混合云复制的能力。
➡️
