Databricks
·
优化物化视图的重新计算
💡
原文英文，约1400词，阅读约需5分钟。
📝
内容提要
物化视图（MV）通过存储预计算的查询结果来提升查询性能并降低计算成本。Lakeflow声明式管道（LDP）支持MV的增量刷新，Enzyme引擎智能更新MV以减少资源消耗。增量刷新适用于小变更，而全刷新适用于重大变更。启用行跟踪和删除向量可优化MV更新。使用非确定性函数会触发全刷新，建议将其值推入源表。
🎯
关键要点
- 物化视图（MV）通过存储预计算的查询结果来提升查询性能，降低计算成本。
- Lakeflow声明式管道（LDP）支持MV的增量刷新，Enzyme引擎智能更新MV以减少资源消耗。
- 增量刷新适用于小变更，而全刷新适用于重大变更。
- 启用行跟踪和删除向量可优化MV更新。
- 使用非确定性函数会触发全刷新，建议将其值推入源表。
- 全刷新会重新处理所有数据，成本高且耗时。
- 增量刷新适用于小变更，能有效降低计算成本。
- Enzyme引擎智能处理新数据，减少资源消耗和延迟。
- 启用行跟踪可检测自上次MV刷新以来的行变更。
- 启用删除向量可跟踪已删除的行，避免重写整个文件。
- 技术解决方案包括生成Delta表、创建LDP、添加非确定性函数等步骤。
- 添加非确定性函数会导致MV无法增量刷新，建议将其值推入源表。
- 全刷新可由非确定性函数、复杂连接等条件自动触发。
➡️
