内容提要
Databricks发布了Data Intelligence Platform,旨在提供一个统一的平台来访问和分析数据。过去六个月中,他们引入了几个新功能,包括数据摄取能力、Spark Structured Streaming的改进、对Apache Pulsar和UC View的支持作为流数据源、AAD认证支持、用于ETL的Delta Live Tables以及对Databricks Workflows的增强。这些更新旨在改进数据工程实践,为人工智能和分析项目构建可靠的数据流水线。
延伸解读
数据工程在AI时代的关键作用
文章指出,近四分之三的高管认为不可靠数据是AI计划成功的最大威胁。因此,数据工程的最佳实践变得至关重要。Databricks通过Spark、Delta Lake、Workflows、Delta Live Tables等工具支持数据工程师,确保数据可靠性,从而为AI和分析项目奠定基础。这凸显了在追求生成式AI的同时,不能忽视底层数据工程的建设。
流处理生态的扩展与增强
Databricks在流处理方面持续创新,新增对Apache Pulsar的支持,提供精确一次处理语义,并允许将Unity Catalog视图作为流数据源。此外,还增加了对Azure Active Directory认证的支持,以适配企业安全要求。这些改进扩展了流处理生态,方便用户连接多种流行流数据源,构建实时应用。
Delta Live Tables的简化与跨云可用性
Delta Live Tables(DLT)是一个声明性ETL框架,自动处理任务编排、集群管理、监控、数据质量和错误处理。新增的append_flow API支持向单个流表写入多个流,并允许回填历史数据。DLT管道现已在Google Cloud上普遍可用,结合Pub/Sub连接器,方便在GCP上构建流处理管道。
工作流控制的精细化与模块化
Databricks Workflows增强了控制流能力,支持条件执行任务和作业参数,允许添加if/else逻辑和更复杂的多任务依赖。模块化编排功能可将复杂工作流分解为子作业,由不同团队拥有,提高可重用性,从而加速开发并提升大规模工作流编排的可靠性。
Q&A
Databricks 的 Data Intelligence Platform 是什么?
Data Intelligence Platform 是 Databricks 宣布的一个统一平台,它深度理解组织的独特数据,使任何人都能轻松访问所需数据并快速构建定制的 AI 应用。
Databricks 在数据摄取方面有什么新动作?
Databricks 在 2023 年 11 月收购了 Arcion,这是一家领先的实时数据复制技术提供商。Arcion 的代码可选、低维护的变更数据捕获(CDC)技术将帮助 Databricks 提供原生解决方案,从各种数据库和 SaaS 应用程序复制和摄取数据。
Spark Structured Streaming 在 Databricks 上有哪些改进?
改进包括:支持 Apache Pulsar 作为流数据源(提供精确一次处理语义)、支持 Unity Catalog 视图作为流数据源、支持 Azure Active Directory 认证用于 Kafka 连接器与 Azure Event Hubs。
Delta Live Tables 是什么?它有什么新功能?
Delta Live Tables (DLT) 是一个声明式 ETL 框架,可简化流式和批处理 ETL。新功能包括:append_flow API 允许将多个流写入单个流式表;与 Unity Catalog 集成,支持自定义存储位置和从 Hive Metastore 克隆管道;在 Google Cloud 上普遍可用;以及开发体验改进,如早期错误检测。
Databricks Workflows 在控制流和编排方面有哪些增强?
Databricks Workflows 增加了条件执行任务和作业参数,允许 if/else 逻辑和更复杂的多任务依赖。还引入了模块化编排,可以将复杂工作流分解为子作业,作为父作业中的任务调用,从而提高可维护性和重用性。
Databricks 在云数据管道领域的分析师认可情况如何?
Databricks 在 The Forrester Wave™: Cloud Data Pipelines, Q4 2023 中被评为领导者。Forrester 根据 26 项标准评估了云数据管道提供商,Databricks 在 current offering、strategy 和 market presence 方面表现突出。