湖仓监控正式发布：智能化的数据质量分析、诊断与执行
内容提要
在Data and AI Summit上，Databricks宣布了Databricks Lakehouse Monitoring的普遍可用性。该监控方法使得在Databricks Data Intelligence Platform中进行数据和AI的分析、诊断和质量强制执行变得更加简单。Lakehouse Monitoring直接构建在Unity Catalog上，无需额外的工具或复杂性。通过发现质量问题，您的组织可以使数据的访问民主化，并恢复对数据的信任。
延伸解读
从被动救火到主动防御：监控如何改变数据团队的工作方式
文章指出，数据质量问题往往在下游流程受影响后才被发现，导致团队面临数周的调试和回滚。Lakehouse Monitoring 通过自动化分析和期望功能，将质量监控前置，使团队能在问题影响下游之前发现并解决。这种转变不仅减少了运营开销，还让数据团队从被动救火转向主动防御，从而更专注于核心业务需求。
与 Unity Catalog 深度集成：治理与监控的统一价值
Lakehouse Monitoring 直接构建在 Unity Catalog 上，无需额外工具或复杂集成。这意味着监控与治理在同一平台内完成，团队可以在管理数据权限和血缘的同时跟踪质量指标。这种统一方法降低了工具碎片化带来的管理成本，并使得质量指标可以像其他数据资产一样被查询和关联分析，为组织提供了更全面的数据视图。
灵活定制与主动执行：满足多样化质量需求
除了开箱即用的自动化分析，Lakehouse Monitoring 支持自定义指标和切片表达式，允许用户根据业务需求监控特定子集或计算自定义 SQL 指标。同时，Expectations 功能让用户能在物化视图和流表上设置行级约束，主动检测并解决质量问题。这种灵活性和执行能力使得监控方案能适应不同团队和场景，而不仅限于通用指标。
规模化监控的成本优化：启用 CDF 的实践建议
文章建议，为了高效地大规模监控，应在表上启用变更数据馈送（CDF）。这样监控刷新时只处理新增数据，而非全表扫描，从而提升执行效率并降低成本。但需注意，CDF 仅适用于时间序列和推理配置文件，快照配置文件仍需全表扫描。因此，团队应根据监控类型和规模合理选择配置，以平衡成本与需求。
Q&A
Databricks Lakehouse Monitoring的主要功能是什么？
Databricks Lakehouse Monitoring主要用于数据和AI的分析、诊断和质量强制执行，简化了在Databricks Data Intelligence Platform中的操作。
如何开始使用Lakehouse Monitoring？
用户可以通过Unity Catalog的质量选项卡轻松开始使用Lakehouse Monitoring，点击“开始使用”即可。
Lakehouse Monitoring如何帮助识别数据质量问题？
Lakehouse Monitoring通过可视化关键指标和自动生成的仪表板，帮助用户识别数据中的问题列和质量指标。
Lakehouse Monitoring的Expectations功能有什么作用？
Expectations功能允许用户主动检测和解决质量问题，提前发现潜在问题并强制执行行级约束。
使用Lakehouse Monitoring有什么最佳实践建议？
建议启用变更数据馈送（CDF），以提高监控效率并降低成本，尤其是在大规模监控时。
Lakehouse Monitoring如何支持自定义指标？
用户可以编写SQL表达式作为自定义指标，Lakehouse Monitoring会在监控刷新时计算这些指标。
