极道
·
为什么 Apache Kafka 不需要 Fsync 来保证安全？
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文比较了 Apache Kafka 和 Raft 协议的不同之处。Kafka 通过其复制协议来确保数据安全，不需要 fsyncs。它使用异步日志写入和恢复机制，提供强大的性能和额外的安全性。而 Raft 协议需要 fsyncs 来确保数据正确性，依赖于日志本身来保证协议的正确性。如果一个节点上的日志丢失数据，可能会危及整个集群的正确性。
🎯
关键要点
-
Apache Kafka 通过其复制协议确保数据安全，不需要 fsyncs。
-
Kafka 使用异步日志写入和恢复机制，提供强大的性能和额外的安全性。
-
fsync 和 flush 是操作系统调用，用于确保数据物理存储在存储驱动器上。
-
Kafka 不会同步刷新，默认情况下不会在确认消息之前刷新。
-
Kafka 的数据复制协议设计为在没有 fsyncs 的情况下安全，依赖外部元数据存储。
-
Kafka 内置恢复机制，可以自动修复数据，确保在没有 fsync 的情况下安全。
-
异步日志写入可能导致同时崩溃时的数据丢失，但 Kafka 不受此影响。
-
Kafka 的恢复过程简单，受影响的节点必须在恢复数据后才能成为领导者候选人。
-
Raft 协议依赖于持久化的操作日志，不能容忍丢失任何写入磁盘的日志条目。
-
Raft 需要 fsync 来确保协议的正确性，丢失日志条目可能危及整个集群的正确性。
➡️
