InfoQ
·
Airbnb的Mussel V2：下一代键值存储，统一流式和批量数据摄取
内容提要
Airbnb推出Mussel v2，重构内部键值引擎，支持每秒超10万次流写入，简化操作并提升扩展性。新系统结合NewSQL后端与Kubernetes控制平面，改善数据处理效率与透明度。迁移采用蓝绿部署，成功迁移超1PB数据且无停机。
关键要点
-
Airbnb推出Mussel v2，重构内部键值引擎，支持每秒超10万次流写入。
-
新系统简化操作，提升扩展性，支持超过100TB的表，p99读取延迟低于25毫秒。
-
Mussel v1在数据量和产品集成增加时显示出局限性，采用静态哈希分区设计。
-
Mussel v2结合NewSQL后端与Kubernetes控制平面，提供弹性存储和低延迟缓存的响应能力。
-
系统使用Kubernetes清单进行自动化部署，动态范围分片以减轻热点问题。
-
写入首先持久化到Kafka，后续组件按顺序应用到后端数据库。
-
迁移过程中采用蓝绿部署，使用备份和采样数据引导表到v2。
-
迁移涉及从最终一致性到强一致性的复杂性，包括写入去重和控制重试。
-
成功迁移超过1PB数据且无停机，确保了数据的完整性和一致性。
延伸解读
Mussel V2的技术优势
Mussel V2通过结合NewSQL后端与Kubernetes控制平面，显著提升了数据处理的灵活性和响应速度。其支持的每秒超10万次流写入和低于25毫秒的读取延迟，使得数据操作更加高效，适应大规模数据处理需求。
迁移过程中的挑战
从Mussel V1迁移到V2的过程中，Airbnb工程团队面临了从最终一致性到强一致性的复杂性。这包括写入去重和控制重试等问题，确保数据在迁移过程中的完整性和一致性至关重要。
蓝绿部署的应用
Airbnb采用蓝绿部署策略进行Mussel V2的迁移，确保了在切换过程中无停机。这种方法通过持续验证和回退机制，降低了迁移风险，保障了用户体验。
延伸问答
Mussel v2的主要功能是什么？
Mussel v2支持每秒超过10万次流写入，简化操作并提升扩展性，支持超过100TB的表，p99读取延迟低于25毫秒。
Mussel v1与v2相比有哪些局限性？
Mussel v1在数据量和产品集成增加时显示出局限性，采用静态哈希分区设计，导致操作开销增加和一致性难以维护。
Mussel v2是如何提高数据处理效率的？
Mussel v2结合NewSQL后端与Kubernetes控制平面，提供弹性存储和低延迟缓存的响应能力，使用动态范围分片减轻热点问题。
Airbnb是如何迁移到Mussel v2的？
迁移采用蓝绿部署，使用备份和采样数据引导表到v2，确保数据完整性和一致性，成功迁移超过1PB数据且无停机。
Mussel v2在操作上有哪些改进？
Mussel v2使用Kubernetes清单进行自动化部署，支持动态范围分片和命名空间级配额，提升了操作透明度和成本管理。
Mussel v2如何处理写入和读取的延迟问题？
Mussel v2通过低延迟缓存和高效的写入持久化机制，确保p99读取延迟低于25毫秒，提升了系统响应速度。
