新功能：借助 sort 和 z-order 压缩提升 Amazon S3 中 Apache Iceberg 的查询性能
原文中文，约6400字，阅读约需16分钟。
📝
内容提要
Amazon S3 现支持 sort 和 z-order 压缩，优化 Apache Iceberg 查询性能。通过改善数据布局和减少小文件，提升高摄取量和频繁更新数据集的查询效率。新策略可自动应用，降低成本并加快查询速度。
🔎
延伸解读
新压缩策略的优势
Sort 和 z-order 压缩策略的引入，显著提升了 Apache Iceberg 在 Amazon S3 中的查询性能。通过优化数据布局，减少小文件数量，用户可以在高摄取量和频繁更新的数据集上获得更快的查询速度和更低的成本。
使用注意事项
启用新压缩策略后，只有新写入的数据会受到影响，现有文件保持不变。这意味着用户需要合理安排数据重组的时间和规模，以平衡性能提升与成本控制。
适用场景与限制
Sort 压缩适合按特定列进行查询，而 z-order 压缩则更适合多维查询。用户在选择压缩策略时，应考虑数据的查询模式，以最大化性能提升。
❓
Q&A
Amazon S3 中的 sort 和 z-order 压缩有什么作用？
这两种压缩策略可以优化 Apache Iceberg 的查询性能，通过改善数据布局和减少小文件，提高查询效率。
如何在 Amazon S3 中启用 sort 和 z-order 压缩？
可以通过 AWS Glue Data Catalog 或 S3 表类数据存储服务 API 更新表维护配置，设置相应的压缩策略。
使用 sort 压缩时，数据是如何组织的？
Sort 压缩根据用户定义的列顺序组织文件，将相似值聚集在一起，从而减少扫描的文件数量。
z-order 压缩适合什么类型的查询？
Z-order 压缩特别适用于空间或多维查询，能够高效地进行文件剪枝。
启用新压缩策略后，现有数据会受到影响吗？
只有启用 sort 或 z-order 后写入的新数据会受影响，现有文件保持不变，除非显式重写。
使用新压缩策略后，查询性能提升有多大？
查询性能提升可达三倍或更多，具体取决于数据布局和查询模式。
🏷️
