内容提要
文章介绍用 Databricks Feature Views 构建实时欺诈检测:以一笔 900 美元支付为例,演示从 Kafka 流到模型评分的流程。核心是一次定义特征,同时生成时点正确的训练数据和在线推理管道,避免数据泄漏与训练-服务偏差。内容涵盖滚动窗口、Sawtooth 长期基线、按需特征(如金额偏离度)、物化到在线特征库及 Unity Catalog 治理。
延伸解读
训练与推理共用定义,减少两类隐性风险
文章强调,若训练和线上评分各自实现特征逻辑,细微差异会带来训练-服务偏差;而用未来数据计算历史特征则造成数据泄漏。Feature Views 用同一份定义生成时点正确的训练集和在线管道,从机制上降低这两种风险。对欺诈模型而言,这比单纯提升离线指标更关键,因为离线表现虚高会掩盖上线后的真实漏判。
三类特征对应不同时间尺度
案例把特征分为近期行为、长期基线和当前请求对比:滚动窗口捕捉几分钟内的交易频次与金额,Sawtooth 窗口提供约 30 天的消费均值与标准差,按需特征则在请求时用当前金额与历史基线计算偏离度。这种分层让模型既能发现短时爆发,也能判断单笔金额是否异常,而不是只看交易本身。
上线前先做离线特征评估
文章建议在物化到在线库之前,用 compute_features() 和 create_training_set() 在历史交易上比较候选特征,例如五分钟计数是否优于十五分钟计数,或金额偏离度是否带来增量。这样可以在不搭建在线物化的情况下筛选特征,避免把无效特征带入生产管道,也降低后续运维成本。
实时服务依赖物化与请求字段配合
在线评分时,Model Serving 从在线特征库读取最新客户聚合,并用请求中的当前金额计算按需偏离度。文章提醒,请求里的 event_time 不用于选择历史快照,在线查找用的是最新可用特征;演示中先评分再写入 Kafka,以避免当前支付进入自身历史。这些细节直接影响线上行为是否与训练窗口一致。
Q&A
Databricks Feature Views 是什么?它如何同时支持训练和推理?
Feature Views 是 Databricks Feature Store 的一项能力,用于一次定义 ML 特征,并同时用于训练和生产。每个定义指定源、实体键、时间语义和转换。同一 API 覆盖批处理、流式和按需特征,并由 Unity Catalog 治理。定义一次后,该定义既生成时点正确的训练数据,也驱动在线推理的托管管道,避免为两条路径分别构建管道。
Feature Views 如何防止欺诈模型训练中的数据泄漏?
Feature Views 会按照每个训练样本的时间戳计算特征。例如,对于上午 10:00 的一笔支付,五分钟交易计数只包括从 9:55 到但不包括 10:00 的支付。这样可确保未来活动不进入训练数据,避免离线性能被高估。
什么是训练-服务偏差?Feature Views 如何减少它?
训练-服务偏差是指特征在训练时用一种方式计算,而在实时推理时用另一种方式计算。Feature Views 通过为历史计算和在线物化使用同一个注册定义来减少偏差,团队无需为生产重新实现特征逻辑。
Feature Views 能否从 Kafka 流计算特征?如何实现?
可以。注册的 Stream 保存 Kafka 连接、模式和摄取设置,StreamSource 在特征定义中引用它。Databricks 在摄取表中保留流的离线副本用于训练和回填。实时模式(Real-Time Mode)在新事件到达时更新流式聚合。
生产环境中实时特征如何提供给欺诈模型?
调用 materialize_features() 会创建托管管道,使聚合在由 Lakebase 支持的在线特征库中保持最新。模型通过 log_model() 记录并用 Model Serving 部署后,端点会检索最新的客户特征,并根据请求计算按需特征,然后返回欺诈概率。
文章中的按需特征 amount_deviation 是如何计算的?它有什么作用?
amount_deviation 通过 (current_amount - average) / standard_deviation 计算,其中 average 和 standard_deviation 来自 30 天 Sawtooth 窗口的聚合。它帮助模型判断当前支付偏离客户历史基线的程度,例如同样 900 美元,对于标准差 100 美元的客户是 6 个标准差,对于标准差 600 美元的客户只有 1 个标准差。当历史不足时函数返回零,并用单独指示器区分回退与真实零值。