亚马逊AWS官方博客
·
AWS Glue Data Catalog 现在支持自动压缩 Apache Iceberg 表
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
AWS Glue Data Catalog推出了自动压缩事务表的新功能，提高数据湖表的性能和数据一致性。用户可以通过控制台或API启用和监控压缩功能。
🎯
关键要点
- AWS Glue Data Catalog推出自动压缩事务表的新功能，支持Apache Iceberg格式。
- 该功能提高数据湖表的性能和数据一致性，用户可通过控制台或API启用和监控。
- 数据湖最初设计用于低成本存储大量原始数据，但随着用例增加，事务功能变得重要。
- 数据湖在数据质量、治理与合规方面发挥关键作用，支持并发读写以保持数据完整性。
- 采用开放式表格式（OTF）如Apache Iceberg带来挑战，包括小文件管理和元数据版本控制。
- 自动压缩功能解决了将小文件压缩为大文件的难题，提高读取和扫描速度，降低元数据开销。
- 用户需创建IAM角色以启用压缩，服务会自动测量表的变化率并安排压缩作业。
- 用户可通过控制台和新API监控压缩过程，API包括CreateTableOptimizer等。
- 压缩功能不合并删除文件，且不支持从VPC独占访问的S3桶。
- 新功能在所有提供AWS Glue Data Catalog的区域可用，按数据处理单元（DPU）计费。
➡️
