杰里米·施奈德：数据丢失比我预期的更难
内容提要
本文研究了在CloudNativePG中使用Jepsen进行同步和异步复制的实验。结果表明，启用同步复制能有效防止数据丢失，而异步复制在多种配置下则显著增加了数据丢失的风险。实验还发现，使用两个实例（一个副本）和更高的事务速率都会提高异步数据丢失的可能性。
关键要点
-
本文研究了在CloudNativePG中使用Jepsen进行同步和异步复制的实验。
-
启用同步复制能有效防止数据丢失，而异步复制则显著增加数据丢失的风险。
-
使用两个实例（一个副本）和更高的事务速率都会提高异步数据丢失的可能性。
-
实验方法使用强制删除Pod模拟主节点崩溃，尽管存在Kubernetes的注意事项，但未影响实验目标。
-
在同步复制下，进行了1061次五分钟的测试，没有数据丢失的失败。
-
在异步复制下，进行了1448次测试，出现了478次数据丢失的失败。
-
实验1发现，减少副本数量会增加数据丢失的可能性，而缩短检查点并未增加丢失率。
-
实验2表明，较高的事务速率会增加数据丢失频率，而减少线程数则意外降低了丢失频率。
-
实验3在不同云实例上重复测试，发现硬件差异会影响异步失败率，Azure Dpsv6表现最佳。
-
同步复制仍然是防止数据丢失的有效手段，拓扑结构和工作负载形状也会影响数据丢失的频率。
-
建议使用CloudNativePG LAB和Exercise 3进行实验，以观察异步模式下的数据丢失。
延伸解读
同步与异步复制的风险对比
实验结果显示，启用同步复制可以有效防止数据丢失，而异步复制则显著增加了数据丢失的风险。这一发现对企业在选择数据库复制策略时具有重要意义，尤其是在对数据安全性要求较高的场景中，建议优先考虑同步复制以降低风险。
事务速率与数据丢失的关系
实验表明，较高的事务速率会增加数据丢失的频率。这意味着在设计系统时，需谨慎选择事务处理速率，以避免在高负载情况下出现数据丢失的风险。适当的线程数和事务速率的平衡是确保数据安全的关键。
硬件差异对实验结果的影响
不同的硬件配置对异步复制的数据丢失率有显著影响。实验中，Azure Dpsv6的表现最佳，数据丢失率最低。这提示用户在选择云服务提供商和实例类型时，应考虑硬件性能对数据安全的潜在影响。
延伸问答
同步复制如何防止数据丢失？
同步复制能够确保在主节点崩溃时，所有数据都已被复制到副本，从而有效防止数据丢失。
异步复制增加数据丢失风险的原因是什么？
异步复制在多种配置下会导致数据未及时复制到副本，增加了在主节点崩溃时数据丢失的风险。
实验中使用了哪些方法来模拟主节点崩溃？
实验通过强制删除Pod来模拟主节点崩溃，这种方法简单且可重复。
在不同云实例上测试的结果如何？
在不同云实例上测试发现，硬件差异会影响异步失败率，Azure Dpsv6的表现最佳。
减少副本数量对数据丢失的影响是什么？
减少副本数量会增加数据丢失的可能性，实验结果支持这一假设。
如何在实验中观察异步模式下的数据丢失？
建议使用CloudNativePG LAB和设置2个实例、事务速率3000、50个线程进行实验，以观察异步模式下的数据丢失。
