第三天 -> Athena 清空箭囊
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
本文介绍了在AWS上构建数据湖的项目，使用了AWS Glue和Athena等工具。作者分享了使用Terraform管理Athena查询结果的经验，指出Terraform与Boto3的区别。通过重用前两天的逻辑，作者节省了时间，并计划在后续项目中整合Splunk以提升图示技能。
🎯
关键要点
- 本文介绍了在AWS上构建数据湖的项目，使用了AWS Glue和Athena等工具。
- AWS Lambda用于处理API查询逻辑、数据转换和推送到S3。
- AWS S3存储API数据和Athena查询结果。
- AWS Glue数据库用于存放相似的Glue表，便于不同项目或数据集的管理。
- AWS Glue表定义数据的位置、模式和格式，以便其他工具如Athena能够解读数据。
- AWS Athena工作组用于容纳查询和共享设置，作者指定了自定义输出位置。
- 作者在管理Athena查询结果输出位置时，选择创建专用工作组而非新的数据库。
- Terraform与Boto3的比较在架构复杂时显得尤为重要，作者发现Terraform资源引用有助于理解资源之间的关系。
- 作者重用了前两天的逻辑，节省了时间，并计划在后续项目中整合Splunk以提升图示技能。
➡️
