使用 Databricks Feature Views 构建实时下一最佳报价推荐器

使用 Databricks Feature Views 构建实时下一最佳报价推荐器

💡 原文英文,约1600词,阅读约需6分钟。
📝

内容提要

Databricks推出开源方案加速器,通过Feature Views一次定义特征,同时支持模型训练与在线服务,避免训练/服务偏差。该方案以零售银行为例构建实时下一最佳报价推荐器,结合批量客户特征与Kafka流式会话意图,使用LightGBM排序。基准测试中排序端点p95延迟为34毫秒,流式特征约0.1秒可见,训练与服务特征值一致。方案基于合成数据,未证明收入提升,生产部署前需补充资格、同意等业务规则。

🔎

延伸解读

训练与服务一致性如何实现

文章强调,传统做法需分别维护批量训练管道和手写流式服务作业,容易产生特征漂移。Feature Views 通过一次声明特征逻辑,在训练时用 create_training_set 按时间点回溯历史值,在推理时从在线存储按 customer_id 取当前值,两者共享同一套定义。这从机制上避免了离线与在线变换不一致,但前提是特征声明本身正确且数据源可靠。

延迟数字的适用边界

基准测试显示排序端点 p95 为 34 毫秒,流式特征约 0.1 秒可见,且增加实时流特征仅多 3-4 毫秒。但文章明确,该延迟包含特征检索与推理,不能与仅测特征读取的基准直接比较;且端点采用 scale-to-zero,空闲后首请求可能有数十秒冷启动。读者应将这些数字视为最小配置下的参考,而非生产保证。

从演示到生产还缺什么

该加速器使用合成数据,未证明转化率或收入提升,仅展示特征工程与服务基础设施。文章指出,生产部署前必须补充资格、同意、适当性和抑制等业务规则,排序只是建模步骤,不等于最终报价决策。团队可将其作为起点,但需自行验证业务影响并实现合规控制。

容量规划的经验公式

文章给出一个实用估算:所需并发 = 4 × ceil(目标 RPS ÷ 在 SLO 下实测 RPS)。基于最小配置,排序端点约 56 RPS、特征服务端点约 390 RPS 可维持在 50 毫秒 p95 内。若目标为 150 排序 RPS,则需并发 12。该公式来自实测吞吐与并发关系,但文章提醒测试条件为热端点、区域内客户端和轻负载,实际部署需按自身环境复测。

❓

Q&A

Databricks Feature Views 是什么?它主要解决什么问题?

Feature Views 是 Databricks 推出的功能,允许用户一次定义特征转换逻辑,并同时用于模型训练和在线服务。它主要解决训练与服务偏差(train/serve skew)问题,避免因分别维护批处理和流式管道而导致特征定义不一致和模型精度下降。

Feature Views 如何防止训练与服务偏差?

Feature Views 通过共享特征定义来防止偏差:训练时使用 create_training_set API 进行时间点连接,重建历史标签时刻的特征值,防止未来数据泄漏;服务时使用相同的特征定义从在线存储获取当前值。由于离线与在线转换逻辑一致,特征值不会因分别实现而出现不一致。

Feature Views 支持实时流式特征吗?如何实现?

支持。Feature Views 可以直接指向 Kafka 主题,持续将事件聚合到在线存储,无需单独编写流式作业。它支持 RollingWindow 用于近期会话活动,SawtoothWindow 用于较长历史窗口(如30天类别计数),保持特征新鲜且避免重复计算全量历史。

下一最佳报价推荐器加速器的性能基准如何?

在最小配置下,排序端点 p95 延迟为 34 毫秒(含在线特征检索和推理),流式事件约 0.1 秒对模型可见,训练与服务特征值一致。排序端点吞吐约 56 RPS,特征服务端点约 390 RPS(p95 延迟超过 50 毫秒前)。

运行下一最佳报价推荐器加速器需要哪些前提条件?

需要 Databricks 工作区、配置好的 Databricks CLI 配置文件以及加速器的 GitHub 仓库。第一部分使用 Declarative Automation Bundles 部署批特征推荐器;第二部分额外需要 Unity Catalog Kafka 连接和 Amazon MSK 连接以接入实时会话活动。

这个加速器能直接用于生产环境吗?有哪些限制?

不能直接用于生产。加速器使用合成数据,未证明收入提升,仅提供特征工程和服务基础设施的起点。生产前需补充资格、同意、适当性和抑制等业务规则。此外,排序端点采用缩容到零,空闲后首次请求可能有数十秒冷启动;报告的延迟包含特征检索和推理,与仅测特征读取的基准不可直接比较。

🏷️

标签

➡️

继续阅读