Databricks
·
宣布推出使用Delta删除向量的更新预测I/O公共预览版
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
Databricks推出公共预览版的Predictive I/O for Updates，使用Delta Lake Deletion Vectors，提供高达10倍的MERGE、UPDATE和DELETE查询性能。Predictive I/O使用Deletion Vectors来跟踪已删除的行，以压缩位图文件的形式存储。
🎯
关键要点
- Databricks推出公共预览版的Predictive I/O for Updates，使用Delta Lake Deletion Vectors。
- Predictive I/O提供高达10倍的MERGE、UPDATE和DELETE查询性能提升。
- Databricks Lakehouse平台支持低延迟处理大数据，同时降低存储和计算成本。
- 客户每天处理超过1 Exabyte的数据，50%以上的表使用DML操作。
- Photon引擎提升了工作负载性能，速度提高了11倍。
- 更新数据湖时，MERGE、UPDATE和DELETE操作会导致昂贵的重写步骤。
- Predictive I/O通过使用Deletion Vectors来解决更新数据湖的挑战。
- Predictive I/O在基准测试中比Low-Shuffle MERGE快10倍。
- Predictive I/O使用压缩位图文件跟踪已删除的行，优化写入性能。
- Predictive I/O现已在Databricks SQL Pro和Serverless中公开预览，欢迎反馈。
➡️
