/filters:no_upscale()/news/2026/03/uber-scaled-data-replication/en/resources/1hivesyncjob-1771726530169.jpeg)
InfoQ
·
优步的混合云数据：工程师如何解决极大规模复制挑战
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
优步工程团队改进了数据复制平台，日处理超过1PB数据，解决了快速增长的工作负载扩展挑战。HiveSync团队基于Hadoop的Distcp框架优化了多PB工作负载，提升了复制效率和可靠性，支持云迁移和数据湖模型。通过并行化任务和改进资源管理，HiveSync实现了300PB的增量复制，并计划将这些改进作为开源补丁贡献给社区。
🎯
关键要点
- 优步工程团队改进了数据复制平台，日处理超过1PB数据。
- 该平台基于Hadoop的Distcp框架，解决了快速增长的工作负载扩展挑战。
- HiveSync团队优化了多PB工作负载，提升了复制效率和可靠性。
- HiveSync支持云迁移和数据湖模型，通过并行化任务和改进资源管理实现了300PB的增量复制。
- HiveSync架构将资源密集型任务转移到Application Master，减少了HDFS客户端争用。
- 优化后，HiveSync的增量复制能力提高了五倍，支持Uber的云迁移。
- 增强的可观察性帮助工程师监控工作负载并预防故障。
- HiveSync团队计划进一步优化并行化、资源管理和网络效率。
- 优步计划将这些改进作为开源补丁贡献给社区，提升管理极大规模混合云复制的能力。
❓
延伸问答
优步的数据复制平台是如何处理每天超过1PB的数据的？
优步的数据复制平台基于Hadoop的Distcp框架，通过优化架构和并行化任务来处理每天超过1PB的数据。
HiveSync团队在数据复制中做了哪些优化？
HiveSync团队通过将资源密集型任务转移到Application Master、并行化处理和改进资源管理来优化数据复制。
优步的HiveSync如何支持云迁移和数据湖模型？
HiveSync通过增量复制和保持HDFS与云数据湖同步，支持云迁移和数据湖模型。
优步在数据复制中面临哪些挑战？
优步在数据复制中面临的挑战包括快速增长的工作负载和处理延迟，导致服务水平协议(SLA)的威胁。
优步计划如何贡献其数据复制的改进？
优步计划将其数据复制的改进作为开源补丁贡献给社区，以帮助管理极大规模的混合云复制。
HiveSync的增量复制能力提高了多少？
HiveSync的增量复制能力提高了五倍，能够在云迁移期间复制超过300PB的数据。
➡️
