datafusion-remote-table: 读取远端数据库，利用 datafusion 引擎分析计算
内容提要
本文介绍了如何在远程数据库执行 SQL 查询，并将结果流式传输到 DataFusion，支持数据插入、自动推断结果集 schema、下推过滤器和限制等功能，兼容多种数据库类型。
关键要点
-
在远端数据库执行 SQL 查询并将结果流式传输到 DataFusion 作为一张表
-
支持往远端数据库插入数据
-
支持自动推断和用户指定结果集 schema
-
支持下推过滤器和限制到远端数据库执行
-
执行算子可以序列化反序列化以支持分布式执行
-
数据可以被转换后再输出到下一算子使用从远端数据库查询数据
-
支持的数据库包括 Postgres、MySQL、Oracle、SQLite 和 DM (达梦数据库)
-
Postgres 支持多种数据类型，如 Int、Float、Char、Date、Json 等
-
MySQL 支持 TinyInt、Float、Date、Json 等数据类型
-
Oracle 支持 Number、Varchar2、Date、Boolean 等数据类型
-
SQLite 支持 Null、Integer、Real、Text、Blob 等数据类型
-
DM 数据库支持 TinyInt、Real、Char、Timestamp 等数据类型
延伸解读
远程数据库的优势
通过在远程数据库执行 SQL 查询，用户可以直接利用 DataFusion 引擎进行数据分析，避免了数据的重复传输和存储。这种方式提高了数据处理的效率，尤其适合大规模数据集的实时分析。
兼容性与灵活性
DataFusion 支持多种数据库类型，包括 Postgres、MySQL、Oracle、SQLite 和 DM。这种广泛的兼容性使得用户可以根据现有的数据库环境灵活选择，降低了技术迁移的成本和风险。
下推过滤器的实用性
支持下推过滤器和限制到远端数据库执行，可以有效减少数据传输量，提升查询性能。在处理大数据时，这一特性尤为重要，能够显著提高系统的响应速度和资源利用率。
延伸问答
如何在远端数据库执行 SQL 查询并将结果传输到 DataFusion？
可以通过创建 RemoteTable 实例并使用 SessionContext 注册该表，然后执行 SQL 查询来实现。
DataFusion 支持哪些数据库类型？
DataFusion 支持 Postgres、MySQL、Oracle、SQLite 和 DM（达梦数据库）。
如何向远端数据库插入数据？
可以使用 SQL 插入语句在注册的远端表上执行插入操作。
DataFusion 如何处理结果集的 schema？
DataFusion 支持自动推断结果集的 schema，也允许用户指定 schema。
DataFusion 支持下推过滤器和限制吗？
是的，DataFusion 支持将过滤器和限制下推到远端数据库执行。
在 DataFusion 中如何处理分布式执行？
执行算子可以序列化和反序列化，以支持分布式执行。
