使用无服务器计算实现Delta Live Tables管道的高效增量ETL
内容提要
Databricks正式推出了用于笔记本、工作流和Delta Live Tables (DLT)管道的无服务器计算。DLT管道为构建流式和批处理ETL工作流提供了一种具有成本效益的解决方案，自动管理任务编排、可扩展性、监控、数据质量和错误处理。与经典DLT计算相比，无服务器DLT计算提供了高达5倍的成本节省和98%的成本降低，同时提供更高的可靠性。这种组合使得在Databricks上进行大规模、快速和可靠的ETL成为可能。无服务器DLT实现了卓越的简便性、性能和最低的总拥有成本（TCO）。在无服务器计算上的DLT管道更快、更便宜、更可靠，提高了吞吐量、可靠性并降低了TCO。无服务器DLT通过自动垂直扩展计算资源支持更广泛的工作负载，增强了处理内存密集型任务的能力。DLT管道简化了ETL开发，自动化了大部分操作复杂性，使您能够专注于提供高质量的数据，而不是管理和维护管道。无服务器DLT提供了从摄取到转换的端到端增量处理，由于在摄取和复杂转换期间的增量处理，使管道运行更快且延迟更低。无服务器DLT的主要优势包括快速启动、增加吞吐量、高效转换、高效数据处理和高效计费。
延伸解读
无服务器DLT的成本优势与适用场景
文章指出，无服务器DLT在数据摄取方面可提供高达5倍的成本性能提升，在复杂转换方面可节省高达98%的成本。这主要得益于端到端增量处理，仅读取变更数据，避免全量重算。对于需要处理大规模数据、且工作负载波动较大的团队，无服务器DLT能显著降低总拥有成本。但需注意，这些数据基于内部基准测试，实际效果可能因工作负载特性而异。
增量处理如何提升性能与数据新鲜度
无服务器DLT通过流式表和物化视图实现端到端增量处理。流式表支持从云文件或消息总线增量摄取，而物化视图的增量刷新由基于成本的优化器Enzyme自动处理，无需编写复杂的MERGE或forEachBatch逻辑。在2000亿行表的基准测试中，Enzyme相比经典计算上的物化视图刷新，吞吐量提升6.5倍，延迟降低85%。这意味着更低的成本和更高的数据新鲜度。
自动垂直扩展解决内存密集型任务挑战
传统上，为变化的数据量选择合适实例类型很困难，容易导致过度配置或内存不足错误。无服务器DLT通过自动垂直扩展计算和内存资源，根据工作负载需求动态调整实例大小，既能向上扩展避免OOM崩溃，也能向下缩减以节省成本。这使非专家用户也能轻松运行大规模管道，尤其适合内存密集型的复杂转换和流式聚合。
当前可用性与未来路线图
无服务器DLT现已在Azure和AWS上正式可用，GCP支持处于公开预览阶段，预计今年晚些时候正式发布。未来还将支持私有网络和出口控制、可执行归属（用于成本分摊）等功能，并允许用户优先考虑降低成本等目标。用户现在即可开始使用，但需留意多云和网络功能尚未全面可用。
Q&A
无服务器计算如何提高Delta Live Tables的ETL效率？
无服务器计算通过自动管理任务编排、可扩展性和增量处理，显著提高了ETL的效率，降低了成本和延迟。
使用无服务器DLT的主要优势是什么？
主要优势包括快速启动、提高吞吐量、高效转换和降低总拥有成本（TCO）。
无服务器DLT如何处理内存密集型任务？
无服务器DLT通过自动垂直扩展计算和内存资源，增强了处理内存密集型任务的能力，避免了内存不足导致的崩溃。
无服务器DLT的增量处理是如何工作的？
无服务器DLT通过在摄取和复杂转换期间进行增量处理，仅处理自上次更新以来变化的数据，从而提高了管道运行速度和降低了延迟。
无服务器DLT如何降低ETL的总拥有成本？
无服务器DLT通过弹性计费模式，仅对实际处理数据的时间收费，避免了未使用实例容量的费用，从而降低了总拥有成本。
无服务器DLT在数据质量管理方面有什么特点？
无服务器DLT通过自动化数据质量期望的执行和强大的可观察性，确保数据质量，简化了ETL开发过程。
