Airbnb的Mussel V2:下一代键值存储,统一流式和批量数据摄取

Airbnb的Mussel V2:下一代键值存储,统一流式和批量数据摄取

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

Airbnb推出Mussel v2,重构内部键值引擎,支持每秒超10万次流写入,简化操作并提升扩展性。新系统结合NewSQL后端与Kubernetes控制平面,改善数据处理效率与透明度。迁移采用蓝绿部署,成功迁移超1PB数据且无停机。

🎯

关键要点

  • Airbnb推出Mussel v2,重构内部键值引擎,支持每秒超10万次流写入。
  • 新系统简化操作,提升扩展性,支持超过100TB的表,p99读取延迟低于25毫秒。
  • Mussel v1在数据量和产品集成增加时显示出局限性,采用静态哈希分区设计。
  • Mussel v2结合NewSQL后端与Kubernetes控制平面,提供弹性存储和低延迟缓存的响应能力。
  • 系统使用Kubernetes清单进行自动化部署,动态范围分片以减轻热点问题。
  • 写入首先持久化到Kafka,后续组件按顺序应用到后端数据库。
  • 迁移过程中采用蓝绿部署,使用备份和采样数据引导表到v2。
  • 迁移涉及从最终一致性到强一致性的复杂性,包括写入去重和控制重试。
  • 成功迁移超过1PB数据且无停机,确保了数据的完整性和一致性。

延伸问答

Mussel v2的主要功能是什么?

Mussel v2支持每秒超过10万次流写入,简化操作并提升扩展性,支持超过100TB的表,p99读取延迟低于25毫秒。

Mussel v1与v2相比有哪些局限性?

Mussel v1在数据量和产品集成增加时显示出局限性,采用静态哈希分区设计,导致操作开销增加和一致性难以维护。

Mussel v2是如何提高数据处理效率的?

Mussel v2结合NewSQL后端与Kubernetes控制平面,提供弹性存储和低延迟缓存的响应能力,使用动态范围分片减轻热点问题。

Airbnb是如何迁移到Mussel v2的?

迁移采用蓝绿部署,使用备份和采样数据引导表到v2,确保数据完整性和一致性,成功迁移超过1PB数据且无停机。

Mussel v2在操作上有哪些改进?

Mussel v2使用Kubernetes清单进行自动化部署,支持动态范围分片和命名空间级配额,提升了操作透明度和成本管理。

Mussel v2如何处理写入和读取的延迟问题?

Mussel v2通过低延迟缓存和高效的写入持久化机制,确保p99读取延迟低于25毫秒,提升了系统响应速度。

➡️

继续阅读