可组合数据系统之路：对过去 15 年和未来的思考
内容提要
2024年3月11日，一篇关于可组合数据管理系统VLDB的论文已发布，探讨了数据科学的发展和数据分析工具的演变，以及当前面临的挑战。文章介绍了一些与数据管理和分析相关的开源项目，如Apache Arrow、RAPIDS、DuckDB和Ibis等，致力于提高数据交换、查询执行和编程接口的模块化和互操作性。作者对未来的发展持乐观态度，并预测将出现新一轮的用户界面生产力投资浪潮。
延伸解读
从 pandas 到可组合系统：痛点与演进
文章回顾了 pandas 在构建大规模云分析服务时的局限性，包括性能、内存使用和互操作性。这些痛点催生了模块化、可组合的数据系统愿景。读者可以从中理解，当前数据工具的解耦趋势并非偶然，而是为了解决实际工程中遇到的扩展性和集成难题。
硬件变革如何推动软件模块化
更快的存储、网络以及 GPU、TPU 等专用处理器的普及，使得传统垂直集成系统难以充分利用硬件潜力。文章指出，计算管道的异构性要求编程接口和组件更加模块化，以便开发者无需深入计算机工程即可使用尖端硬件。这解释了为什么可组合性在近年成为焦点。
关键开源项目如何实现可组合性
Apache Arrow 标准化了内存数据交换，RAPIDS 利用 GPU 加速分析，DuckDB 等嵌入式引擎让查询处理模块化，Ibis 和 Substrait 则分别提供可移植的编程接口和查询中间表示。这些项目共同推动了数据交换、查询执行和接口的互操作性，展示了可组合数据栈的可行路径。
未来瓶颈与投资方向
作者预测，随着查询执行组件商品化，竞争将转向用户界面生产力。Ibis、dplyr、Malloy 等工具代表新一轮投资浪潮，因为人机交互或 LLM 交互成为完成任务的瓶颈。同时，查询优化、分布式计算、文件格式和数据集管理仍需进一步发展，以充分释放模块化的潜力。
Q&A
可组合数据管理系统的主要目标是什么？
可组合数据管理系统旨在提高数据交换、查询执行和编程接口的模块化和互操作性。
文章中提到的开源项目有哪些？
文章提到的开源项目包括Apache Arrow、RAPIDS、DuckDB和Ibis等。
为什么pandas在大规模云分析服务中存在局限性？
pandas在性能、规模和内存使用方面存在问题，尤其是在与其他系统的互操作性和可组合性方面。
RAPIDS项目的主要功能是什么？
RAPIDS项目利用GPU加速数据分析和机器学习，提升数据处理效率。
Substrait项目的目的是什么？
Substrait项目旨在为查询定义一个标准化的中间表示，以促进不同数据库之间的互操作性。
未来的数据分析工具发展趋势是什么？
未来将出现新一轮的用户界面生产力投资浪潮，推动模块化、互操作性和可组合性的持续发展。
