集群MQTT血泪史：最蠢的就是不管状态场景，统一用一种一致性算法
内容提要
该文探讨分布式系统中的状态管理，主张按语义分类状态而非追求统一一致性。通过集群MQTT内存爆炸案例，提出五类状态（连接所有权、离线状态、路由、持久消息、成员关系），每类对应不同保障和机制（如共识、哈希、AP路由、同步存储、Gossip）。核心原则是“语义定保障，保障定机制”，避免过度复制，实现资源高效。
延伸解读
状态分类是架构设计的起点
文章通过集群MQTT内存爆炸案例，指出分布式系统常见的错误是将所有状态统一对待。作者提出按语义将状态分为五类，每类对应不同的保障和机制，如连接所有权用共识、离线状态用哈希、路由用AP、持久消息用同步存储、成员关系用Gossip。这种分类方法帮助团队删除了不必要的全量复制，显著降低了内存占用。
避免过度设计：最弱够用的机制
作者强调，选择机制时应遵循“最弱够用”原则，避免为不需要强一致性的状态引入复杂机制。例如，离线状态通过确定性哈希即可独立计算，无需仲裁；路由表容忍短暂陈旧，无需强一致同步。这种思路减少了系统开销，使资源消耗与集群规模解耦，仅与真正需要仲裁的数据相关。
改变默认假设比调优更重要
文章指出，内存溢出的根本原因不是参数调优问题，而是默认假设“任何节点都应准备好服务任何客户端”导致的全量加载。通过逐行分析状态语义，团队移除了这一假设，使节点仅加载哈希归属的离线状态，内存从270-360MB降至50MB以下。这启示我们，面对系统问题，应首先审视默认假设，而非盲目调优。
Q&A
集群MQTT内存爆炸的根本原因是什么？
根本原因是设计者默认每个节点都需要加载所有客户端的会话状态，导致每个节点都复制了全集群的数据，节点越多，内存开销越大，最终触发OOM。
什么是“统一一致性”？它有什么弊端？
“统一一致性”是指对所有状态不加区分地采用同一种一致性保证和准备策略。弊端是导致每个节点都复制全量数据，资源开销随集群规模增长，最终可能引发内存溢出等问题。
文章提出的“语义定保障，保障定机制”具体是什么意思？
意思是先根据状态在节点意见不一致时的后果严重程度确定其语义，再由语义决定所需的最低保障，最后选择最弱的机制来兑现该保障。例如，实时连接需要单一权威，所以用共识算法；离线状态可容忍延迟，所以用确定性哈希。
分布式系统中的状态被分为哪五类？分别对应什么机制？
五类状态及机制：实时连接所有权（小规模协调器/共识算法）、离线客户端所有权（确定性哈希）、消息路由（AP型路由）、持久消息状态（持久共享存储/同步落盘）、集群成员（Gossip协议）。
为什么离线状态不需要共识算法？
因为离线状态可以容忍延迟，当设备重连时再计算归属即可。使用确定性哈希，任意节点用同一算法都能算出相同归属，无需协商或投票，因此不需要共识。
改造后集群的内存使用有何变化？
改造前每个节点启动时加载全量会话状态，占用270-360MB内存；改造后只加载哈希计算出的部分离线状态，通常不到50MB，内存溢出不再发生。
文章认为最难的技术决策是什么？
最难的是承认大多数状态不需要复杂机制，尤其是共识算法。需要反复说服自己“这里不需要机制”，避免过度设计。
