宣布State Reader API：全新的“Statestore”数据源
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
Databricks Runtime 14.3引入了State Reader API，允许用户访问和分析Structured Streaming的内部状态数据。该API有助于开发、调试和故障排除有状态的Structured Streaming工作负载。它包括两个新的DataFrame格式选项：state-metadata和statestore。State Reader API简化了有状态流应用程序的开发和调试，提供了并行性和偏斜度的洞察，并帮助调查生产问题。该API已包含在Apache Spark 4.0.0中。
❓
Q&A
State Reader API的主要功能是什么？
State Reader API允许用户访问和分析Structured Streaming的内部状态数据，帮助开发、调试和故障排除有状态的工作负载。
State Reader API包含哪些新的DataFrame格式选项？
State Reader API包含两个新的DataFrame格式选项：state-metadata和statestore。
如何使用state-metadata格式获取状态数据？
可以通过命令spark.read.format('state-metadata').load('<checkpointLocation>')来获取状态数据。
State Reader API如何帮助开发者调试应用程序？
API允许开发者直接查看状态、输入新记录并查询状态，从而简化了开发过程并提高了调试效率。
State Reader API在生产环境中如何应用？
在生产环境中，State Reader API可以帮助分析数据不一致性和访问限制，支持调查生产问题。
State Reader API的使用限制是什么？
State Reader API不适合持续使用，但可以通过工作流自动化状态元数据的检索和分析。
🏷️
