Apache Spark 4.3 发布,核心是将有状态处理引入实时模式,三项基准测试的 P99 端到端延迟均低于 150 毫秒,支持流聚合、去重和 transformWithState。新增并发阶段调度与流水线 shuffle,实现持续数据流。还推出小数据单任务免 shuffle 执行、Auto CDC 的 SCD Type 2 历史追踪、Spark Connect 会话与操作可见性、DataFrame.zip、纳秒时间戳预览、JSON_TABLE 及 ASOF JOIN 等。发布节奏改为每季度一次。
完成下面两步后,将自动完成登录并继续当前操作。