💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
AWS最近宣布，Amazon S3支持Apache Iceberg表的排序和Z-order压缩。这些功能通过用户定义的列顺序组织文件，优化多列查询性能，显著提高查询效率，特别是在处理高频更新的数据集时。
🎯
关键要点
- AWS最近宣布Amazon S3支持Apache Iceberg表的排序和Z-order压缩。
- 新功能减少了扫描时间和引擎成本，适用于S3表和传统S3桶。
- 排序压缩通过用户定义的列顺序组织文件，优化多列查询性能。
- Z-order压缩在同时查询多个列时提供额外的性能优势。
- 数据湖在处理高频更新的数据集时可能会积累许多小文件，影响查询成本和性能。
- Apache Iceberg中的压缩可以将小文件合并为大文件，按查询模式排序数据。
- S3表提供基于定义的表元数据的自动分层排序体验。
- BMW在使用Z-order时观察到显著的查询性能提升。
- 有专家质疑S3表的压缩配置选项不足，认为理想的压缩配置应针对不同类型的读写者。
- 启用排序或Z-order后，现有的压缩文件将保持不变，仅新写入的数据会受到影响。
- 新的压缩选项在所有支持S3表的区域可用，且没有特定的费用。
➡️
