Arroyo:基于Arrow和DataFusion的新SQL引擎
原文约3700字/词,阅读约需9分钟。发表于: 。Arroyo 0.10 拥有一个使用 Apache Arrow 和 DataFusion 构建的全新 SQL 引擎。它更快、更小、更容易运行。这篇文章将详细介绍 Arroyo 当前的实现以及为什么会发生变化,但简而言之: 性能:Arrow 是一种内存中列格式,旨在利用现代 CPU 的矢量处理能力;与高性能计算内核相结合,我们可以实现最先进的流媒体性能,可与最好的批处理引擎竞争...
Arroyo 0.10是一个基于Apache Arrow和DataFusion构建的新型SQL引擎,提供了改进的性能、简化的架构和与其他数据系统的无缝集成。与Arroyo 0.9相比,Arroyo 0.10在吞吐量、管道启动速度和Docker镜像大小方面都有显著改进。文章还讨论了Arroyo的灵感来源、选择Rust作为编程语言以及添加SQL功能的决策。文章最后解释了列式表示和批处理在流引擎中的优势。