2. DDIA-分布式数据系统-笔记
内容提要
本文讨论了分布式数据系统中的关键概念和挑战，包括数据复制、复制滞后、多主节点复制/无主节点复制、数据分区、分区与二级索引、分区再平衡、请求路由、事务、分布式系统的挑战、一致性与共识。文章提到了主从复制、两阶段提交和Raft等常见技术方案和算法。
延伸解读
主节点故障判断的实践难点
文章通过 DolphinScheduler 和 YARN 的案例，说明主节点故障判断容易因条件不一致而误判。例如 ZooKeeper 抖动时，监听器可能只触发 SUSPENDED 而非 DISCONNECTED，导致 master 未主动退出，而其他节点却认为其已宕机并尝试接管。这提醒我们，在分布式系统中，故障检测机制需要仔细设计，避免因网络抖动或状态不一致引发脑裂或任务重复执行。
复制滞后与一致性权衡
复制滞后会导致读写不一致，典型场景是写主后立即读从，可能读到旧数据。解决方案包括强制读主、单调读和前缀读。单调读保证用户不会读到比之前更旧的数据，前缀读则确保有顺序的写请求不会只读到部分。这些措施在最终一致性的基础上提供了更强但弱于线性一致性的保证，适用于对一致性有要求的读场景。
分区与二级索引的复杂性
数据分区解决单机存储瓶颈，但二级索引在分布式环境中更复杂。索引可以是全局或分区的，分区索引查询需要 scatter/gather。更新索引时，若索引值变化，需同时更新新旧索引项，这涉及一致性与性能的取舍。文章提到在应用层兼容索引更新，避免直接处理分布式索引的复杂性，这是一种常见的折中方案。
分布式事务与共识的可靠性
两阶段提交通过协调者确保多节点原子提交，但协调者故障可能导致阻塞。参与者投票“是”后必须提交，协调者决定不可撤销。共识算法如 Raft 通过全序广播保证消息顺序一致。这些机制提高了可靠性，但引入了延迟和复杂性。文章指出，分布式事务和共识是分布式系统的核心挑战，需要在一致性与可用性之间做出选择。
Q&A
分布式数据系统的主要模式有哪些？
分布式数据系统主要有三种模式：shared-memory、shared-disk和shared-nothing，重点在shared-nothing模式。
数据复制的目的是什么？
数据复制的目的是提高可用性，带来低延迟和高吞吐。
什么是复制滞后问题，它如何影响数据一致性？
复制滞后问题可能导致读取不一致，需通过强制读主等方式解决。
分区再平衡的实现方式有哪些？
分区再平衡可通过固定数量分区或动态分区实现，避免热点问题。
分布式事务如何确保一致性？
分布式事务可通过两阶段提交实现，确保所有节点一致提交或中止。
什么是Raft算法，它在分布式系统中有什么作用？
Raft算法是一种共识算法，确保消息处理顺序一致，增强系统可靠性。
