使用委派IAM权限将Amazon S3数据连接到Databricks
内容提要
Databricks推出新的S3外部位置创建流程，简化连接Amazon S3与Unity Catalog的步骤。用户只需指定存储桶和访问级别，通过AWS IAM临时授权，即可自动配置资源，无需手动编写IAM策略或部署CloudFormation模板。此流程减少配置错误，遵循最小权限原则，支持LTAP架构，提升数据治理效率。
延伸解读
简化配置，降低错误率
新流程通过AWS IAM临时授权，自动配置资源，省去了手动编写IAM策略和部署CloudFormation模板的步骤。这减少了因信任策略错误、存储桶权限缺失或ARN配置不当导致的常见故障，同时确保IAM角色遵循最小权限原则，符合企业安全标准。
对LTAP架构的推动
LTAP架构旨在统一事务和分析负载，减少管道和ETL开销。简化的S3连接消除了基础设施障碍，使运营数据可直接被分析引擎查询，无需单独管道，从而加速LTAP的采用，提升数据治理效率。
权限不足时的处理
如果用户缺乏足够的AWS权限，可以直接在流程中向AWS管理员请求权限，无需离开Databricks工作区。这简化了跨团队协作，确保权限审批流程顺畅，同时保持安全控制。
Q&A
如何在Databricks中快速连接Amazon S3？
在Databricks工作区中，导航到Catalog Explorer → External Locations → Create，指定S3存储桶和访问级别，然后通过AWS IAM临时授权自动配置资源，无需手动编写IAM策略或部署CloudFormation模板。
Databricks新的S3外部位置创建流程有什么优势？
新流程简化了连接步骤，减少了配置错误，遵循最小权限原则，并支持LTAP架构，提升数据治理效率。
什么是外部位置？
外部位置是Unity Catalog中的一个对象，它结合了存储路径和存储凭据，用于授权对S3存储桶的读写访问。
新流程如何实现自动化配置？
新流程利用AWS IAM临时授权，用户指定存储桶和访问级别后，登录AWS验证权限，授予Databricks临时授权，Databricks自动创建所需的IAM角色和策略，无需手动操作。
如果用户没有足够的AWS权限怎么办？
用户可以直接在流程中向AWS管理员请求所需权限。
新流程如何支持LTAP架构？
新流程简化了S3连接，为LTAP架构提供了受治理的云存储目标，使操作数据可被分析引擎即时查询，无需单独的数据管道。
旧流程连接S3有哪些痛点？
旧流程需要编写140行IAM信任策略、配置S3存储桶权限、部署CloudFormation模板，并在AWS控制台和Databricks之间切换，容易出错且耗时。
