Azure Synapse PySpark 工具箱 001:输入/输出

Azure Synapse PySpark 工具箱 001:输入/输出

💡 原文英文,约300词,阅读约需1分钟。
📝

内容提要

本文介绍了如何从REST API获取数据,并将Python字典以JSON格式保存到Azure Data Lake。首先,通过Azure Key Vault获取API密钥,然后调用API获取数据,最后将字典保存到指定的Azure Data Lake路径。

🎯

关键要点

  • 从REST API获取数据并将Python字典以JSON格式保存到Azure Data Lake。
  • 使用Azure Key Vault获取API密钥。
  • 调用API获取数据并返回Python字典对象。
  • 定义函数get_api_as_dict来处理API请求和响应。
  • 使用requests库发送GET请求,并处理响应状态码。
  • 定义函数dict_save_to_json将字典保存到Azure Data Lake存储容器。
  • 构建保存路径,包括年份、月份和日期。
  • 使用mssparkutils.fs.put将字典以JSON格式保存到指定路径。
➡️

继续阅读