代码-第7章 Spark Streaming-林子雨编著《Spark编程基础(Python版,第2版)》

💡 原文中文,约8800字,阅读约需21分钟。
📝

内容提要

《Spark编程基础(Python版,第2版)》是由厦门大学林子雨编著的教材,提供了命令行和代码,包括文件流、网络流、队列流、窗口流和状态流等内容。

🎯

关键要点

  • 《Spark编程基础(Python版,第2版)》是厦门大学林子雨编著的教材。
  • 教材提供了命令行和代码,可以直接复制粘贴执行。
  • 示例代码包括文件流、网络流、队列流、窗口流和状态流等内容。
  • 使用pyspark库创建SparkContext和StreamingContext。
  • 通过textFileStream读取文件流数据并进行单词计数。
  • NetworkWordCount.py示例展示了如何通过socket接收数据并进行单词计数。
  • DataSourceSocket.py示例展示了如何创建socket服务器并发送数据。
  • RDDQueueStream.py示例展示了如何使用RDD队列流进行数据处理。
  • WindowedNetworkWordCount.py示例展示了如何使用窗口操作进行单词计数。
  • NetworkWordCountStateful.py示例展示了如何使用状态操作进行单词计数。
  • NetworkWordCountStatefulDB.py示例展示了如何将结果存储到MySQL数据库中。
➡️

继续阅读