解道jdon.com

解道jdon.com -

Arroyo:基于Arrow和DataFusion的新SQL引擎

Arroyo 0.10 拥有一个使用 Apache Arrow 和 DataFusion 构建的全新 SQL 引擎。它更快、更小、更容易运行。这篇文章将详细介绍 Arroyo 当前的实现以及为什么会发生变化,但简而言之: 性能:Arrow 是一种内存中列格式,旨在利用现代 CPU 的矢量处理能力;与高性能计算内核相结合,我们可以实现最先进的流媒体性能,可与最好的批处理引擎竞争 架构简单:今天,Arroyo 生成 Rust 代码,然后将其编译成执行数据处理的管道二进制文件。提前编译提供了良好的性能,但需要复杂的基础设施来编译管道。Arroyo 0.10 作为单个紧凑的二进制文件提供,可以通过多种

Arroyo 0.10是一个基于Apache Arrow和DataFusion构建的新型SQL引擎,提供了改进的性能、简化的架构和与其他数据系统的无缝集成。与Arroyo 0.9相比,Arroyo 0.10在吞吐量、管道启动速度和Docker镜像大小方面都有显著改进。文章还讨论了Arroyo的灵感来源、选择Rust作为编程语言以及添加SQL功能的决策。文章最后解释了列式表示和批处理在流引擎中的优势。

Apache Arrow Arroyo 0.10 DataFusion SQL引擎 sql 性能改进

相关推荐 去reddit讨论

热榜 Top10

LigaAI
LigaAI
Dify.AI
Dify.AI
eolink
eolink
观测云
观测云

推荐或自荐