morling.dev -- Blog
·
Hardwood进入Beta阶段：S3、谓词下推、命令行接口及更多功能
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
在远程存储查询文件时，限制数据量以减少网络I/O和查询时间至关重要。Hardwood现支持谓词下推和列投影，Parquet文件通过行组和块页的统计信息，能够跳过不匹配的行组和页面。
🎯
关键要点
-
在远程存储查询文件时，限制获取的数据量至关重要。
-
减少网络I/O可以降低查询时间和潜在的数据传输费用。
-
Hardwood现在支持谓词下推和列投影。
-
Parquet文件可以包含行组和块页的统计信息。
-
在行组级别，可以跳过统计信息显示没有匹配行的整个行组。
-
在匹配的行组内，使用列索引（每页的最小/最大统计信息）跳过不必要的页面，避免不必要的解压和解码。
➡️
