💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
在旧金山的Databricks Data+AI峰会上，Databricks宣布将Delta Live Tables技术贡献给Apache Spark，命名为Spark Declarative Pipelines。这一新特性将简化流式管道的开发与维护，支持使用SQL或Python SDK定义数据流，预计将在2026年1月的Spark 4.10版本中发布。
🎯
关键要点
- Databricks在旧金山的Data+AI峰会上宣布将Delta Live Tables技术贡献给Apache Spark，命名为Spark Declarative Pipelines。
- 新特性将简化流式管道的开发与维护，支持使用SQL或Python SDK定义数据流。
- 用户无需创建传统的命令即可定义数据流管道，但仍需理解Spark的运行时行为。
- 新特性将减少对Apache Airflow等调度器的需求。
- Declarative Pipelines支持来自Apache Kafka等流数据源的流式表和自动更新的物化视图。
- 示例展示了如何使用CREATE STREAMING TABLE命令定义流，并在后续查询中使用FROM语句消费这些流。
- Apache Spark的这些变化尚未发布，但已有工程师分享了使用Databricks DLT的经验。
- Spark Declarative Pipelines还支持变更数据捕获（CDC）、批处理和流逻辑、内置重试逻辑和可观察性钩子。
- Declarative Pipelines正在合并到Spark项目中，计划在2026年1月的Spark 4.10版本中发布。
➡️
