💡
原文英文,约1500词,阅读约需6分钟。
📝
内容提要
Apache Iceberg 3.0版本发布,新增多种数据类型、快速删除、行追踪和NULL默认值等功能,提升了数据表格式的灵活性。该版本支持数据湖屋,优化了元数据管理,并增强了对流应用和低延迟的支持。
🎯
关键要点
- Apache Iceberg 3.0版本发布,新增多种数据类型、快速删除、行追踪和NULL默认值等功能。
- 新版本提升了数据表格式的灵活性,支持数据湖屋,优化了元数据管理。
- Iceberg使用复杂的元数据跟踪不同文件的变化,支持时间旅行和回滚。
- 新增的变体类型支持存储半结构化数据,如JSON,允许在不改变模式的情况下更改数据类型。
- 几何数据类型的新增选项提供了更多功能,包括二维和三维对象的支持。
- 行追踪功能允许检查表中每一行的变化,提供数据审计能力。
- NULL默认值功能允许在计算前将缺失值替换为设定值,解决NULL值带来的计算问题。
- Iceberg v4的开发工作已经开始,计划改善小表和高更新频率表的支持。
- Snowflake为Iceberg提供了开源支持,并即将发布Polaris元数据目录的版本1。
➡️