在旧金山的Databricks Data+AI峰会上，Databricks宣布将Delta Live Tables技术贡献给Apache Spark，命名为Spark Declarative Pipelines。这一新特性将简化流式管道的开发与维护，支持使用SQL或Python SDK定义数据流，预计将在2026年1月的Spark 4.10版本中发布。

Delta Live Tables (DLT) 是一个强大的数据处理管道平台。新推出的 Sinks API 允许用户将处理后的数据写入外部事件流（如 Kafka）和 Delta 表，增强了 DLT 的功能。通过 create_sink() API，用户可以配置不同的输出格式和选项，以支持实时分析和事件驱动架构。

本文介绍了在Databricks Delta Live Tables中使用表快照实现SCD Type 1和SCD Type 2，通过比较快照追踪数据变化并生成准确报告。文章详细说明了推送和拉取两种处理快照的策略，以及使用Delta Live Tables的'APPLY CHANGES FROM SNAPSHOT'语句处理快照数据的步骤和参数。最后，文章提到了使用Databricks Asset Bundles（DABs）简化开发和部署工作流的方法。

Databricks在AWS和Azure上宣布了笔记本、作业和Delta Live Tables（DLT）的无服务器计算的一般可用性。该功能为ETL工作负载提供快速、简单和可靠的计算基础设施，包括Apache Spark和Delta Live Tables。无服务器计算使用户只需支付实际工作量，无需支付空闲时间。Databricks还提供无服务器计算的介绍性促销折扣，有效期至2024年10月31日。无服务器计算旨在解决管理计算基础设施的挑战，并提供快速启动、简单性和可靠性等优势。它包括管理员管理成本和预算的工具。Databricks计划进一步增强无服务器计算，包括GCP支持、私有网络和出口控制、可强制执行的归因、环境和Scala支持。

Databricks发布了Data Intelligence Platform，旨在提供一个统一的平台来访问和分析数据。过去六个月中，他们引入了几个新功能，包括数据摄取能力、Spark Structured Streaming的改进、对Apache Pulsar和UC View的支持作为流数据源、AAD认证支持、用于ETL的Delta Live Tables以及对Databricks Workflows的增强。这些更新旨在改进数据工程实践，为人工智能和分析项目构建可靠的数据流水线。

Databricks越来越受保险公司的青睐，用于端到端数据流程。引入Delta Live Tables等功能使其更易于广泛使用。保险公司正在利用Databricks进行与理赔、核保和定价相关的用例。Databricks现在可以在Guidewire Marketplace上使用，使保险公司能够在平台上混合和增强其Guidewire数据。Databricks与EY合作，为客户提供额外的解决方案和服务。

我们与Advancing Analytics合作推出了一个新直播系列节目Ask Databricks，提供与产品经理和工程师直接互动的机会。第一集将于9月6日上午9点PST播出，主题是Delta Live Tables。每两周的星期三将有新的主题和特别嘉宾。

谷歌云宣布Delta Live Tables（DLT）正式上线，提供简化的数据管道框架，帮助数据工程师从数据中提供价值。DLT提供了流式表和物化视图两种强大且易于使用的数据处理原语，还提供了数据质量管理和高级数据建模功能。谷歌云上构建和运行DLT管道具有许多优势，包括Python和SQL语言和API的支持、流式和批处理工作负载的支持、广泛的流式连接器生态系统、自动化错误处理和重启、全面的测试和CI/CD功能、管道优化和性能调优、数据质量监控等。

Unity Catalog发布了Delta Live Tables（DLT）的公共预览版，可在由DLT生成的数据资产上定义和执行数据治理策略。Unity Catalog和DLT的结合可以实现端到端的数据治理，简化数据工程流程。

本文介绍了使用Delta Live Tables（DLT）实现“被遗忘权”的四种技术方案，以满足GDPR和CCPA等隐私和数据安全法律的要求。同时，文章还介绍了可能面临的挑战和如何使用Delta Lake技术来支持点删除操作。

本文介绍使用Delta Live Tables（DLT）处理实时数据的方法，以医疗保健领域的多流处理场景为例。通过DLT，可以轻松创建和管理高质量的批处理和流处理数据管道，使用Auto Loader工具自动处理新到达的数据文件，支持多种文件格式。最后，通过DLT的数据管道，可以实现数据分析和业务洞察。

Databricks使用Delta Live Tables (DLT)将Delta Lake表“复活”，在传统ETL技术中将数据导入EDW方面表现出最佳性能。使用TPC-DI作为行业标准基准测试，发现DLT的自动编排减少了DAG管理的人工时间，并显著提高了资源管理，确保工作在集群中无缝并行化。DLT的自动应用更改功能可以实时处理SCD类型1和类型2，并保证容错性。DLT的数据期望功能确保将所有数据导入铜层时的基本数据有效性。