DEV Community
·
Glue 跨账户设置
内容提要
本文介绍了如何在跨账户设置中通过Dremio查询AWS Glue数据库目录。账户A部署Dremio并创建Glue_DB_A，账户B创建Glue_DB_B并存储数据。通过Lake Formation共享Glue_DB_B目录，账户A接受共享后可在Dremio中访问数据，并配置S3桶权限以实现跨账户读写访问。
关键要点
-
本文介绍了如何在跨账户设置中通过Dremio查询AWS Glue数据库目录。
-
账户A部署Dremio并创建Glue_DB_A，账户B创建Glue_DB_B并存储数据。
-
通过Lake Formation共享Glue_DB_B目录，账户A接受共享后可在Dremio中访问数据。
-
配置S3桶权限以实现跨账户读写访问。
-
使用Lake Formation和资源访问管理器共享Glue目录。
-
账户B需要创建Glue_DB_B和Glue表，并注册S3位置。
-
账户A接受资源共享后，在Lake Formation中创建资源链接。
-
在账户B的S3控制台中编辑桶策略以提供跨账户访问权限。
-
最后在Dremio中将Glue_DB_A添加为数据源以查询数据。
延伸解读
跨账户数据共享的优势
通过AWS Lake Formation和Dremio的跨账户设置，用户可以实现高效的数据共享。这种方式不仅简化了数据访问流程，还能提高数据的利用率，特别适合需要跨多个AWS账户进行数据分析的企业。
权限配置的重要性
在跨账户访问中，正确配置S3桶的权限至关重要。用户需确保在账户B中编辑桶策略，以允许账户A的IAM用户进行读写操作。忽视权限设置可能导致数据访问失败，影响业务流程。
使用Glue和Dremio的注意事项
在使用AWS Glue和Dremio进行数据查询时，用户应注意Glue表的创建和数据模式的定义。确保数据结构清晰且符合查询需求，可以避免后续数据处理中的问题。
延伸问答
如何在跨账户设置中使用Dremio查询AWS Glue数据库目录？
通过在账户A部署Dremio并创建Glue_DB_A，账户B创建Glue_DB_B并共享目录，账户A接受共享后即可在Dremio中访问数据。
账户B需要做哪些准备才能共享Glue_DB_B？
账户B需要创建Glue_DB_B和Glue表，并注册S3位置，然后通过Lake Formation共享Glue_DB_B目录。
如何在Dremio中添加Glue_DB_A作为数据源？
在Dremio中选择添加数据源，选择AWS Glue Data Catalog，填写相关信息后保存即可。
如何配置S3桶权限以实现跨账户读写访问？
在账户B的S3控制台中编辑桶策略，添加账户A的ID和IAM用户的权限，以允许读写访问。
Lake Formation在跨账户设置中起什么作用？
Lake Formation用于创建数据网格，简化跨账户数据共享，并创建资源链接。
如何验证Lake Formation的访问是否正常？
可以使用Amazon Athena测试Lake Formation的访问是否正常。
