DEV Community
·
Azure Synapse PySpark 工具箱 001：输入/输出
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了如何从REST API获取数据，并将Python字典以JSON格式保存到Azure Data Lake。首先，通过Azure Key Vault获取API密钥，然后调用API获取数据，最后将字典保存到指定的Azure Data Lake路径。
🎯
关键要点
- 从REST API获取数据并将Python字典以JSON格式保存到Azure Data Lake。
- 使用Azure Key Vault获取API密钥。
- 调用API获取数据并返回Python字典对象。
- 定义函数get_api_as_dict来处理API请求和响应。
- 使用requests库发送GET请求，并处理响应状态码。
- 定义函数dict_save_to_json将字典保存到Azure Data Lake存储容器。
- 构建保存路径，包括年份、月份和日期。
- 使用mssparkutils.fs.put将字典以JSON格式保存到指定路径。
❓
延伸问答
如何从REST API获取数据并保存到Azure Data Lake？
可以通过调用API并将返回的Python字典以JSON格式保存到Azure Data Lake，使用Azure Key Vault获取API密钥。
如何使用Azure Key Vault获取API密钥？
使用mssparkutils.credentials.getSecret函数从Azure Key Vault获取指定的API密钥。
如何处理API请求和响应？
定义函数get_api_as_dict，使用requests库发送GET请求，并根据响应状态码处理返回的数据。
如何将字典保存为JSON格式到Azure Data Lake？
使用dict_save_to_json函数，将字典转换为JSON格式并通过mssparkutils.fs.put保存到指定的Azure Data Lake路径。
保存路径是如何构建的？
保存路径包括年份、月份和日期，格式为{data_root_path}/{raw_data_object_name}/{year}/{month}/{day}/。
在获取API数据时如何处理错误？
在请求过程中使用try-except块捕获异常，并在日志中记录错误信息。
➡️
