Steins;Lab
·
分布式存储漫游指南 9: EC/LRC 纠删码 101
💡
原文中文，约10700字，阅读约需26分钟。
📝
内容提要
EC/LRC 纠删码通过多项式插值和矩阵运算实现数据冗余，适用于分布式存储。EC 提供较低的存储成本，但修复时需读取多个块，影响性能。LRC 引入局部校验，提升修复效率，适合大规模集群。选择编码方案需权衡成本、性能和可靠性。
🎯
关键要点
- EC/LRC 纠删码通过多项式插值和矩阵运算实现数据冗余，适用于分布式存储。
- EC 提供较低的存储成本，但修复时需读取多个块，影响性能。
- LRC 引入局部校验，提升修复效率，适合大规模集群。
- 选择编码方案需权衡成本、性能和可靠性。
- EC 编码的存储放大率通常在 1.25x 到 1.5x 之间，相比于 3 副本的 3.0x，存储成本几乎减半。
- LRC 通过增加局部校验块，降低单块修复时的读取量，提高修复效率。
- LRC 的存储放大率为 16/12，略高于同参数的纯 EC，但修复效率大幅提升。
- 在大规模集群中，LRC 的修复带宽需求显著低于 EC，减少了对正常业务流量的影响。
- 选择编码方案时，需考虑热数据与冷数据的不同需求，热数据适合副本，冷数据适合 EC 或 LRC。
❓
延伸问答
什么是EC/LRC纠删码，它们的基本原理是什么？
EC/LRC纠删码通过多项式插值和矩阵运算实现数据冗余，适用于分布式存储。
EC编码的存储放大率是多少，它与副本方式相比有什么优势？
EC编码的存储放大率通常在1.25x到1.5x之间，相比于3副本的3.0x，存储成本几乎减半。
LRC编码如何提高修复效率？
LRC通过增加局部校验块，降低单块修复时的读取量，提高修复效率。
在选择编码方案时需要考虑哪些因素？
选择编码方案需权衡成本、性能和可靠性，同时考虑热数据与冷数据的不同需求。
EC编码在性能上有哪些主要开销？
EC编码的性能开销主要体现在编解码计算、读路径和写路径。
LRC编码的容错能力与EC编码相比如何？
LRC的最坏情况容错能力低于EC，LRC不能容忍任意4个块同时丢失，而EC可以。
➡️
