💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
在旧金山的Databricks Data+AI峰会上，Databricks宣布将Delta Live Tables技术贡献给Apache Spark，命名为Spark Declarative Pipelines。这一新特性将简化流式管道的开发与维护，支持使用SQL或Python SDK定义数据流，预计将在2026年1月的Spark 4.10版本中发布。
🎯
关键要点
- Databricks在旧金山的Data+AI峰会上宣布将Delta Live Tables技术贡献给Apache Spark，命名为Spark Declarative Pipelines。
- 新特性将简化流式管道的开发与维护，支持使用SQL或Python SDK定义数据流。
- 用户无需创建传统的命令即可定义数据流管道，但仍需理解Spark的运行时行为。
- 新特性将减少对Apache Airflow等调度器的需求。
- Declarative Pipelines支持来自Apache Kafka等流数据源的流式表和自动更新的物化视图。
- 示例展示了如何使用CREATE STREAMING TABLE命令定义流，并在后续查询中使用FROM语句消费这些流。
- Apache Spark的这些变化尚未发布，但已有工程师分享了使用Databricks DLT的经验。
- Spark Declarative Pipelines还支持变更数据捕获（CDC）、批处理和流逻辑、内置重试逻辑和可观察性钩子。
- Declarative Pipelines正在合并到Spark项目中，计划在2026年1月的Spark 4.10版本中发布。
❓
延伸问答
Databricks在Data+AI峰会上宣布了什么重要消息？
Databricks宣布将Delta Live Tables技术贡献给Apache Spark，命名为Spark Declarative Pipelines。
Spark Declarative Pipelines的主要功能是什么？
Spark Declarative Pipelines简化了流式管道的开发与维护，支持使用SQL或Python SDK定义数据流。
使用Spark Declarative Pipelines时，用户需要注意什么？
用户仍需理解Spark的运行时行为，以便排查性能和正确性问题。
Spark Declarative Pipelines如何减少对调度器的需求？
该特性允许用户定义数据流管道，而无需创建传统的命令，从而减少对Apache Airflow等调度器的需求。
Spark Declarative Pipelines支持哪些数据源？
它支持来自Apache Kafka等流数据源的流式表和自动更新的物化视图。
Spark Declarative Pipelines的发布计划是什么？
该特性计划在2026年1月的Spark 4.10版本中发布。
➡️
