freeCodeCamp.org
·
如何使用Apache Spark读取和写入深层分区文件
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
本文介绍了如何使用Apache Spark高效导出深层嵌套数据文件，保留分区文件夹。通过input_file_name()、regexp_extract()和partitionBy() API，可以提取并分区保存年份、月份、日期和小时等辅助列。
🎯
关键要点
- 使用Apache Spark导出深层嵌套数据文件时，需要保留分区文件夹。
- 在导出过程中，使用input_file_name()、regexp_extract()和partitionBy() API来提取并分区保存年份、月份、日期和小时等辅助列。
- 需要具备Hadoop和Spark的分布式计算基础知识，以及Scala/Java等面向对象编程语言的编程能力。
- 在读取和写入时，recursiveFileLookup和pathGlobFilter选项并不适用，需寻找其他解决方案。
- 通过组合使用input_file_name()和regexp_extract()，可以有效提取文件路径中的时间信息。
- 示例代码展示了如何初始化Spark会话、读取源数据、提取时间信息并按分区写入目标路径。
- 文章总结了如何高效地使用Apache Spark导出深层嵌套数据文件。
➡️
