使用Databricks Lakehouse Monitoring确保高质量预测
内容提要
Databricks Lakehouse Monitoring是一个统一的解决方案，帮助企业监控数据流入预测模型的质量和模型本身的性能。它对处理时间序列数据和面临数据漂移等问题的预测模型尤为重要。监控可以早期发现潜在问题，并帮助优化模型训练流程。Databricks提供了一个平台，使用Prophet和ARIMA/SARIMA等库构建和部署时间序列预测模型。自动化预测简化了算法选择和超参数调整等任务。Lakehouse Monitoring允许用户在输入特征表和推理日志表上创建监视器，跟踪数据漂移和模型性能，并设置警报。它还生成度量表和交互式仪表板，以可视化模型随时间的性能。定期刷新监视器可使用最新数据更新度量。实际值可以捕获并用于计算模型性能指标。用户可以在关键指标上设置警报，以主动识别问题。使用SQL查询或计费门户可以跟踪监控费用。
延伸解读
监控在预测模型中的独特价值
预测模型处理时间序列数据，其输入数据的统计特性可能随时间变化，导致数据漂移，进而降低预测准确性。由于实际值往往在预测期结束后才可获得，模型性能反馈存在延迟，因此主动监控输入数据质量和模型输出变得尤为重要。即使定期重新训练模型，监控也能及早发现漂移，避免不必要的计算成本，尤其对于需要GPU的复杂模型如PatchTST，重新训练频率较低，监控更为关键。
自定义指标满足业务特定需求
除了默认的统计指标，Lakehouse Monitoring允许用户通过SQL表达式定义自定义指标，以捕捉业务特定逻辑或复杂比较。例如，可以比较当前季度与去年同季度的平均销售额百分比差异，或根据预测项目价值对误差进行加权惩罚，以及跟踪预测值在可接受误差范围内的百分比。自定义指标可分为聚合指标、派生指标和漂移指标，帮助用户获得更深入、更相关的模型性能和数据质量洞察。
实际值延迟下的异常管理策略
预测模型的实际值通常延迟可用，因此需要设置单独的管道将实际值追加到推理日志表，并定期刷新监视器以更新指标。通过监控实际值与预测值的偏差，可以实施异常管理：当预测指标偏离实际值或实际值超出预测范围时，判断是否需要重新诊断时间序列（即重新训练），或将个别偏差标记为异常值，并可能在未来模型中附加日历事件或外生变量。这种基于异常的主动管理有助于保持预测质量。
监控成本与刷新机制注意事项
Lakehouse Monitoring作业在无服务器计算基础设施上运行，成本取决于监视器数量、刷新频率、数据量和SQL复杂度。用户可以通过SQL查询或计费门户跟踪费用。此外，创建监视器时，初始分析仅涵盖创建前30天的数据，可能导致第一个分析窗口不完整，但之后所有新数据都会按指定粒度处理。刷新监视器会重新计算指标表，但仪表板需要单独刷新，且自定义仪表板模板目前不支持。
Q&A
Databricks Lakehouse Monitoring的主要功能是什么？
Databricks Lakehouse Monitoring用于监控数据流入预测模型的质量和模型性能，特别是处理时间序列数据时，能够早期发现数据漂移等问题。
如何监控预测模型的性能？
可以在输入特征表和推理日志表上创建监视器，跟踪数据漂移和模型性能，并设置警报以主动识别问题。
使用Databricks构建时间序列预测模型有哪些库？
可以使用Prophet和ARIMA/SARIMA等库来构建和部署时间序列预测模型。
如何设置警报以监控模型性能？
可以在Databricks SQL中创建警报，基于生成的指标表设置条件，例如当预测误差超过某个阈值时触发警报。
监控系统如何处理数据漂移？
监控系统会自动跟踪输入特征的统计属性，并在检测到显著漂移时发出警报，以识别可能影响预测准确性的数据质量问题。
如何定期刷新监视器以更新度量？
可以设置定期刷新监视器的计划，或在新预测记录或实际值添加时手动刷新，以更新监视器的度量。
