Databricks Runtime 14.3引入了State Reader API,允许用户访问和分析Structured Streaming的内部状态数据。该API有助于开发、调试和故障排除有状态的Structured Streaming工作负载。它包括两个新的DataFrame格式选项:state-metadata和statestore。State Reader API简化了有状态流应用程序的开发和调试,提供了并行性和偏斜度的洞察,并帮助调查生产问题。该API已包含在Apache Spark 4.0.0中。
完成下面两步后,将自动完成登录并继续当前操作。