InfoQ
·
演讲：如何构建无服务器数据库
💡
原文英文，约7400词，阅读约需27分钟。
📝
内容提要
Alex Seaton介绍了如何构建无服务器数据库，使用Python和pandas DataFrames进行数据管理，旨在简化系统、提高读取速度，避免MongoDB的复杂性。通过对象存储实现数据版本控制和一致性，解决了全局状态和冲突解决等数据管理挑战，最终发展出高效的时间序列数据存储解决方案ArcticDB。
🎯
关键要点
- Alex Seaton介绍了如何构建无服务器数据库，使用Python和pandas DataFrames进行数据管理。
- 目标是简化系统、提高读取速度，避免MongoDB的复杂性。
- 通过对象存储实现数据版本控制和一致性，解决全局状态和冲突解决等数据管理挑战。
- 最终发展出高效的时间序列数据存储解决方案ArcticDB。
- Man Group的交易系统需要管理大量数据流，使用Python和pandas DataFrames作为交换格式。
- 数据版本控制非常重要，因为数据供应商会在交付后修正数据。
- Man Group最初使用MongoDB进行数据序列化，但随着系统的扩展，MongoDB集群变得庞大且难以管理。
- 新的系统旨在完全去除MongoDB，专注于存储管理，提高读取速度。
- 无服务器数据库是一个软件库，直接连接到对象存储，而不是管理数据库服务器。
- ArcticDB客户端通过对象存储进行数据读写，并内置版本控制概念。
- 系统使用不可变对象和树状结构来管理数据，确保良好的原子性和一致性。
- 使用对象存储的优势在于其持久性和处理部分写入的能力。
- 系统的限制在于一致性模型，采用最后写入者胜利的策略。
- 管理全局状态是一个复杂的问题，尤其是在没有协调的情况下。
- CRDTs（冲突自由复制数据类型）用于解决全局状态管理问题。
- 对象存储的同步机制正在改进，支持条件写入以检测冲突。
- 分布式锁的实现需要额外的防护措施，以防止在故障情况下出现问题。
- 总结中强调了构建分布式系统时需要谨慎，避免简单类比于单线程软件。
- ArcticDB已从Man Group独立出来，成为一个商业项目，正在与Bloomberg等公司合作。
➡️
