InfoQ
·
演讲：为什么对冲基金建立了自己的数据库
💡
原文英文，约7400词，阅读约需27分钟。
📝
内容提要
曼集团的ArcticDB负责人詹姆斯·芒罗解释了为什么对冲基金建立了自己的数据库技术。他讨论了扩展和交易大量数据的挑战，以及对多样化投资策略的需求。他还强调了使用Python进行数据科学的好处以及灵活可扩展的数据库技术的重要性。ArcticDB是一个完全客户端的数据库，利用像AWS S3这样的存储系统，为管理和分析数据提供了可扩展和可访问的解决方案。
🎯
关键要点
- 詹姆斯·芒罗介绍了曼集团为何建立自己的数据库技术，强调了扩展和交易大量数据的挑战。
- 曼集团是一家大型另类资产管理公司，管理超过1600亿美元的资产，专注于提供非相关收益的投资策略。
- ArcticDB是曼集团开发的数据库，最初在2011年开始构建，旨在解决数据存储和处理的性能问题。
- ArcticDB的核心是用C++重写，直接连接到对象存储（如AWS S3），以提高性能和可扩展性。
- 建立数据库的原因包括高频数据的特殊性和市场需求，许多金融机构也开发了自己的专有数据库。
- 数据的多样性和数量不断增加，替代数据（alt data）成为预测市场和风险的重要工具。
- 曼集团在2011年开始转向Python作为数据科学的主要语言，尽管当时Python并不是主流选择。
- 系统化交易的架构采用了Lambda架构，结合流数据和批处理数据，以支持高频交易和分析。
- ArcticDB的设计允许用户在没有数据库服务器的情况下进行数据操作，利用云存储实现高效的数据管理。
- 通过使用不可变数据结构，ArcticDB支持版本控制和时间旅行功能，方便数据科学研究。
- ArcticDB的架构使得数据处理的负担转移到客户端，用户可以在大规模数据上进行分析而无需担心服务器管理。
➡️
