OpenAI开发了一个流处理平台，利用PyFlink和Kubernetes，解决了Python优先、云资源限制和多主Kafka配置等问题，实现高可用性和故障转移，确保AI模型快速处理新数据，提高研发效率。

批处理系统已不再适应现代AI的实时需求。生成式AI需要动态和上下文相关的数据，而非静态更新。流处理平台能够提供实时数据流，支持AI的主动决策和灵活架构，推动AI应用的发展。

Apache Spark™ Structured Streaming是一种流处理平台，构建在Spark SQL引擎之上，提供可扩展性和容错性。Databricks上的Structured Streaming使用率呈指数增长，每周运行超过1400万个作业。Structured Streaming工作负载分为分析和操作两类，操作工作负载强调对数据的及时转换和操作。Databricks的性能改进提高了有状态流水线的延迟，为具有严格延迟SLA的工作负载提供了更好的支持。