Google 三驾马车：MapReduce、GFS、Bigtable
💡
原文中文，约5300字，阅读约需13分钟。
📝
内容提要
Google的三驾马车是MapReduce、GFS和Bigtable，它们是高性能和高可用性的分布式系统。MapReduce是分布式编程模型，通过map和reduce算子进行任务分解和聚合。GFS是可伸缩、高可用、高可靠的分布式文件系统，提供类似POSIX的API。Bigtable是稀疏、分布式、持久化的多维排序映射表，底层数据存储在GFS上。
🎯
关键要点
- Google的三驾马车是MapReduce、GFS和Bigtable，提供高性能和高可用性的分布式系统。
- MapReduce是分布式编程模型，通过map和reduce算子将任务分解和聚合。
- GFS是可伸缩、高可用、高可靠的分布式文件系统，提供类似POSIX的API。
- Bigtable是稀疏、分布式、持久化的多维排序映射表，底层数据存储在GFS上。
- MapReduce的worker分为map worker和reduce worker，master负责任务分配和监控。
- GFS将文件分为多个chunk，确保数据的可用性和可靠性。
- GFS采用中心化副本控制协议，保证副本间数据的一致性。
- Bigtable使用tablet作为数据分片和负载均衡的基本单位，支持动态添加列。
- Bigtable的元数据由Chubby负责，master负责分布式协调调度。
- Bigtable的master是无状态的，系统能在master故障时快速恢复。
➡️
