Adaptive Query Execution in Structured Streaming

Databricks Runtime的AQE是一种性能特性，可以在查询执行期间使用运行时统计信息不断重新优化批处理查询。从Databricks Runtime 13.1开始，使用ForeachBatch Sink的实时流查询也将利用AQE进行动态重新优化。AQE可以解决静态查询计划和估计统计数据的限制，通过利用ForeachBatch Sink的运行时统计信息进行动态优化。AQE在无状态操作符上的效果最好，可以应用于ForeachBatch可调用函数中的微批DataFrame。AQE在流中的应用可以提高Delta MERGE等常见流式用例的性能。