本文介绍Apache Spark Declarative Pipelines中AUTO CDC的增强功能。新增双时态CDC,通过系统时间和业务时间双时间轴,支持任意顺序事件到达及历史修正,满足SEC审计要求。部分更新功能自动处理NULL值,避免覆盖现有数据。此外,AUTO CDC Type 1已贡献至开源Apache Spark 4.2,支持Delta Lake和Iceberg。
完成下面两步后,将自动完成登录并继续当前操作。