代码-第7章 Spark Streaming-林子雨编著《Spark编程基础(Python版,第2版)》
💡
原文中文,约8800字,阅读约需21分钟。
📝
内容提要
《Spark编程基础(Python版,第2版)》是由厦门大学林子雨编著的教材,提供了命令行和代码,包括文件流、网络流、队列流、窗口流和状态流等内容。
🎯
关键要点
- 《Spark编程基础(Python版,第2版)》是厦门大学林子雨编著的教材。
- 教材提供了命令行和代码,可以直接复制粘贴执行。
- 示例代码包括文件流、网络流、队列流、窗口流和状态流等内容。
- 使用pyspark库创建SparkContext和StreamingContext。
- 通过textFileStream读取文件流数据并进行单词计数。
- NetworkWordCount.py示例展示了如何通过socket接收数据并进行单词计数。
- DataSourceSocket.py示例展示了如何创建socket服务器并发送数据。
- RDDQueueStream.py示例展示了如何使用RDD队列流进行数据处理。
- WindowedNetworkWordCount.py示例展示了如何使用窗口操作进行单词计数。
- NetworkWordCountStateful.py示例展示了如何使用状态操作进行单词计数。
- NetworkWordCountStatefulDB.py示例展示了如何将结果存储到MySQL数据库中。
➡️