Databricks ·

使用Photon加速特征工程

💡 原文英文，约600词，阅读约需3分钟。

📝

内容提要

Photon Engine现已适用于Databricks Machine Learning Runtime，可加快Spark作业和特征工程工作负载。Photon是一个用C++实现的高性能查询引擎，可以更快地运行Spark SQL和Spark DataFrame。它加速了数据准备和特征工程，平均加速了2倍至4倍的SQL查询。Databricks特征工程库中的点对点连接的新实现，受到客户建议的启发，更具可扩展性和鲁棒性，从Photon Engine中受益。当连接不同大小的特征表时，Photon将点对点连接加速了2.0倍至2.4倍。用户可以在Databricks Machine Learning Runtime集群中选择Photon，以更快地构建机器学习模型。

🔎

延伸解读

Photon 如何加速特征工程

Photon 是一个用 C++ 实现的高性能查询引擎，能够加速 Spark SQL 和 Spark DataFrame 工作负载。在特征工程中，它主要优化数据准备和点对点连接。早期客户观察到 SQL 查询平均加速 2 至 4 倍，点对点连接加速 2.0 至 2.4 倍。这意味着构建机器学习模型时，数据预处理和特征生成阶段可以显著缩短时间。

点对点连接性能提升的细节

Databricks 特征工程库的新版点对点连接使用原生 Spark 而非 Tempo 库，更具可扩展性和鲁棒性。当连接不同大小的特征表时，Photon 的加速效果随表增大而提升：1000 万行特征表加速 2.0 倍，1 亿行加速 2.1 倍，10 亿行加速 2.4 倍。这表明数据量越大，Photon 带来的收益越明显。

如何启用 Photon 及版本要求

从 Databricks Machine Learning Runtime 15.2 及以上版本开始，用户可以在创建 ML Runtime 集群时选择“Use Photon Acceleration”来启用 Photon。而原生 Spark 版本的点对点连接需要 ML Runtime 15.4 LTS 及以上版本。用户需根据自身运行时版本决定是否可用，并注意功能兼容性。

❓

Q&A

Photon引擎是什么？

Photon引擎是一个高性能查询引擎，用C++实现，能够更快地运行Spark SQL和Spark DataFrame。