亚马逊AWS官方博客
·
新功能：借助 sort 和 z-order 压缩提升 Amazon S3 中 Apache Iceberg 的查询性能
内容提要
Amazon S3 现支持 sort 和 z-order 压缩，优化 Apache Iceberg 查询性能。通过改善数据布局和减少小文件，提升高摄取量和频繁更新数据集的查询效率。新策略可自动应用，降低成本并加快查询速度。
关键要点
-
Amazon S3 现支持 sort 和 z-order 压缩，优化 Apache Iceberg 查询性能。
-
新压缩策略通过改善数据布局和减少小文件，提升高摄取量和频繁更新数据集的查询效率。
-
Sort 压缩根据用户定义的列顺序组织文件，减少扫描文件数量，提高查询效率。
-
Z-order 压缩支持跨多个维度的高效文件剪枝，适用于空间或多维查询。
-
S3 表类数据存储服务使用 Iceberg 表元数据自动确定排序顺序，简化配置。
-
新数据写入后受压缩策略影响，现有文件保持不变，允许用户控制数据重组时间和规模。
-
Sort 和 z-order 压缩在所有支持的 AWS 区域可用，且不收取额外费用。
-
查询性能提升可达三倍或更多，具体取决于数据布局和查询模式。
延伸解读
新压缩策略的优势
Sort 和 z-order 压缩策略的引入，显著提升了 Apache Iceberg 在 Amazon S3 中的查询性能。通过优化数据布局，减少小文件数量，用户可以在高摄取量和频繁更新的数据集上获得更快的查询速度和更低的成本。
使用注意事项
启用新压缩策略后，只有新写入的数据会受到影响，现有文件保持不变。这意味着用户需要合理安排数据重组的时间和规模，以平衡性能提升与成本控制。
适用场景与限制
Sort 压缩适合按特定列进行查询，而 z-order 压缩则更适合多维查询。用户在选择压缩策略时，应考虑数据的查询模式，以最大化性能提升。
延伸问答
Amazon S3 中的 sort 和 z-order 压缩有什么作用？
这两种压缩策略可以优化 Apache Iceberg 的查询性能，通过改善数据布局和减少小文件，提高查询效率。
如何在 Amazon S3 中启用 sort 和 z-order 压缩？
可以通过 AWS Glue Data Catalog 或 S3 表类数据存储服务 API 更新表维护配置，设置相应的压缩策略。
使用 sort 压缩时，数据是如何组织的？
Sort 压缩根据用户定义的列顺序组织文件，将相似值聚集在一起，从而减少扫描的文件数量。
z-order 压缩适合什么类型的查询？
Z-order 压缩特别适用于空间或多维查询，能够高效地进行文件剪枝。
启用新压缩策略后，现有数据会受到影响吗？
只有启用 sort 或 z-order 后写入的新数据会受影响，现有文件保持不变，除非显式重写。
使用新压缩策略后，查询性能提升有多大？
查询性能提升可达三倍或更多，具体取决于数据布局和查询模式。
