datafusion-remote-table: 读取远端数据库，利用 datafusion 引擎分析计算
💡
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
本文介绍了如何在远程数据库执行 SQL 查询，并将结果流式传输到 DataFusion，支持数据插入、自动推断结果集 schema、下推过滤器和限制等功能，兼容多种数据库类型。
🎯
关键要点
- 在远端数据库执行 SQL 查询并将结果流式传输到 DataFusion 作为一张表
- 支持往远端数据库插入数据
- 支持自动推断和用户指定结果集 schema
- 支持下推过滤器和限制到远端数据库执行
- 执行算子可以序列化反序列化以支持分布式执行
- 数据可以被转换后再输出到下一算子使用从远端数据库查询数据
- 支持的数据库包括 Postgres、MySQL、Oracle、SQLite 和 DM (达梦数据库)
- Postgres 支持多种数据类型，如 Int、Float、Char、Date、Json 等
- MySQL 支持 TinyInt、Float、Date、Json 等数据类型
- Oracle 支持 Number、Varchar2、Date、Boolean 等数据类型
- SQLite 支持 Null、Integer、Real、Text、Blob 等数据类型
- DM 数据库支持 TinyInt、Real、Char、Timestamp 等数据类型
❓
延伸问答
如何在远端数据库执行 SQL 查询并将结果传输到 DataFusion？
可以通过创建 RemoteTable 实例并使用 SessionContext 注册该表，然后执行 SQL 查询来实现。
DataFusion 支持哪些数据库类型？
DataFusion 支持 Postgres、MySQL、Oracle、SQLite 和 DM（达梦数据库）。
如何向远端数据库插入数据？
可以使用 SQL 插入语句在注册的远端表上执行插入操作。
DataFusion 如何处理结果集的 schema？
DataFusion 支持自动推断结果集的 schema，也允许用户指定 schema。
DataFusion 支持下推过滤器和限制吗？
是的，DataFusion 支持将过滤器和限制下推到远端数据库执行。
在 DataFusion 中如何处理分布式执行？
执行算子可以序列化和反序列化，以支持分布式执行。
➡️
