内容提要
Andrew Lamb分享数据库架构见解:DataFusion类似数据库领域的LLVM,提供可组合查询引擎;动态过滤在TopK查询运行时剪枝,Logfire实测提速超10倍;Parquet新增Variant、地理空间、向量类型及ALP编码以适配AI负载;分布式查询难点在Shuffle与故障恢复。AI Agent降低开发成本,或推动企业组装专用数据系统,SQL成为AI访问数据的统一接口;代码生成激增冲击开源审查,维护能力更稀缺。
延伸解读
动态过滤:让查询执行过程反向指导数据扫描
传统谓词下推依赖查询开始前的静态信息,但TopK查询的边界值在执行中才逐渐明确。DataFusion的动态过滤将TopK算子维护的当前第10名边界值实时传递给Scan算子,使后续文件或Row Group一旦被证明不可能进入结果集就被跳过。这种运行时剪枝把优化从一次性决策变为贯穿执行的过程。Logfire在特定查询模式下实测提速超10倍,但效果依赖文件统计信息、数据排序和时间范围,并非所有数据布局都能只读一个文件。
Parquet的AI适配:存储能力扩展不等于检索能力
Parquet正通过Variant、GEOMETRY/GEOGRAPHY、FINITE_VECTOR等类型扩展对半结构化JSON、地理空间和向量数据的支持。Variant的Shredding可将常用字段提取为独立列,兼顾灵活性与列式剪枝;地理空间类型能利用边界框统计信息跳过不相交的Row Group。但文章明确区分了高效存储向量与高效执行向量相似度搜索:Parquet增加向量类型并不自动提供ANN索引和检索能力。此外,ALP编码针对固定精度浮点数据提升解码速度并支持更高效的随机访问,但Parquet擅长批量读取、不
分布式查询的真正难点在数据流动与故障权衡
DataFusion本身主要提供单进程查询执行能力,构建分布式引擎还需解决Shuffle、Join重分布和故障恢复。以GROUP BY为例,各节点可先本地部分聚合,但相同service的数据必须发送到同一节点;Join则要求匹配记录共置,涉及Broadcast Join、Hash/Range Partitioning、Bloom Filter等技术。文章还指出不同架构的取舍:物化中间结果提升故障恢复能力但增加磁盘I/O,流式Shuffle降低延迟和物化成本却需要更复杂的执行与故障处理。分布式查询并非简单分配扫描任务
AI Agent降低组装成本,但维护审查成为新瓶颈
Andrew Lamb判断,Coding Agent大幅降低开发成本后,企业可能更愿意围绕自身数据模型和查询模式组装专用数据系统,而非购买通用数据库再适配。DataFusion的可扩展性使开发者能实现自定义Catalog、数据源、算子和优化规则。同时,SQL可能成为LLM访问企业数据系统的统一接口。但AI也冲击开源协作:DataFusion社区曾积累约400个未关闭PR,有人用Agent短时间提交大量PR,而审查速度并未同步提升。社区因此限制非Draft PR数量、将CI成本转移至贡献者Fork并更严格筛选。代码生
Q&A
Apache DataFusion 是什么?它和普通数据库有什么区别?
DataFusion 是一个用 Rust 编写、基于 Apache Arrow 内存模型的可扩展查询执行框架。它不是一个开箱即用的完整数据库,而是可嵌入其他系统的查询引擎基础设施,提供 SQL 解析、逻辑计划、优化器、物理计划和执行引擎等组件,并允许通过扩展 API 定制数据源、算子等。类比来说,它之于数据库就像 LLVM 之于编译器。
动态过滤(Dynamic Filters)是如何提升 TopK 查询性能的?
动态过滤让查询执行过程中产生的信息反向指导数据扫描。以 TopK 查询为例,TopK 算子用堆维护当前最好的 N 条记录,并持续将第 N 名的边界值传递给底层 Scan 算子;Scan 根据最新边界动态判断后续文件或 Row Group 是否还有读取价值,一旦能证明某些数据不可能进入最终结果就直接跳过。这种运行时剪枝在 Logfire 的实测中实现了超过 10 倍的性能提升。
Parquet 格式为了适应 AI 负载做了哪些新扩展?
Parquet 新增了 Variant 类型以更高效地存储 JSON 等半结构化数据(支持将常用字段提取为独立列,即 Shredding);支持原生的 GEOMETRY 和 GEOGRAPHY 地理空间类型,并利用边界框统计信息进行空间剪枝;增加 FINITE_VECTOR 类型用于存储固定长度向量;还引入 ALP 编码优化浮点数据的随机访问,并探索字符串和整数的新编码方案。
构建分布式查询引擎的主要难点是什么?
分布式查询的真正难点不在于把扫描任务分配到多台机器,而在于数据如何在节点间正确、高效地流动,即 Shuffle。对于聚合和 Join,必须确保相同键的数据被发送到同一节点,这涉及 Broadcast Join、Hash Partitioning、Range Partitioning、Bloom Filter 等技术。此外,还需在物化中间结果(提升故障恢复能力但增加 I/O)与流式 Shuffle(降低延迟但故障处理更复杂)之间做出权衡。
AI Agent 如何影响专用数据库和基础设施的构建?
AI Coding Agent 大幅降低了软件开发成本,使得过去不经济的专用软件定制重新变得有吸引力。企业可能不再购买通用数据库再费力适配,而是围绕自身数据模型和查询模式,组合 DataFusion、Arrow、Parquet 等成熟开源组件,组装专用的数据系统。同时,SQL 可能成为 AI Agent 访问各种专用数据系统的统一接口,因为 LLM 擅长理解和生成 SQL。
AI 生成代码给开源社区带来了哪些新问题?DataFusion 社区如何应对?
AI 生成代码降低了提交门槛,但代码审查和维护成本并未同步下降,导致大量低质量 PR 堆积(DataFusion 曾积累约 400 个未关闭 PR)。社区采取的措施包括:限制无写权限贡献者同时开放的非 Draft PR 数量为 3 个;将 CI Runner 成本转移到贡献者自己的 Fork;更严格地筛选 PR,优先处理有上下文、有实际价值的贡献。核心担忧是代码不再稀缺,而理解系统、判断架构和承担长期维护的能力变得更加稀缺。