本文介绍了如何在远程数据库执行 SQL 查询，并将结果流式传输到 DataFusion，支持数据插入、自动推断结果集 schema、下推过滤器和限制等功能，兼容多种数据库类型。

Fast, extensible query engine for building high-quality data-centric systems in Rust is now a Top-Level Project Wilmington, DE, June 11,  2024 – The Apache Software Foundation (ASF), the...

Arroyo 0.10是一个基于Apache Arrow和DataFusion构建的新型SQL引擎，提供了改进的性能、简化的架构和与其他数据系统的无缝集成。与Arroyo 0.9相比，Arroyo 0.10在吞吐量、管道启动速度和Docker镜像大小方面都有显著改进。文章还讨论了Arroyo的灵感来源、选择Rust作为编程语言以及添加SQL功能的决策。文章最后解释了列式表示和批处理在流引擎中的优势。

在 Spark 真正成为主流之前，数据科学家仍在大量使用 Pandas。现在每个人都想要一块 DataFrame 蛋糕! GitHub 上提供测试代码。 我不会深入探讨这些工具中的每一个，除了一些Rust基础的新工具，例如 Polars 和 DataFusion，您可能对它们中的大多数都很熟悉。此外，将 Spark...