Delta Sharing:安全的端到端数据共享解决方案

Delta Sharing:安全的端到端数据共享解决方案

💡 原文英文,约2300词,阅读约需9分钟。
📝

内容提要

Databricks和Linux基金会开发了Delta Sharing,这是一种跨平台、云和区域的安全数据共享开源方法。Delta Sharing支持多种应用程序和数据格式,提高了运营效率,降低了复杂性和风险。它还支持非表格数据资产的共享。文章讨论了Delta Sharing在三个共享场景中的安全架构:Databricks客户到Databricks客户、Databricks客户到开放共享以及跨云数据共享。客户推荐强调了Delta Sharing的灵活性和安全性。

🔎

延伸解读

D2D共享的治理与访问控制

在Databricks到Databricks(D2D)场景中,Delta Sharing与Unity Catalog深度集成,提供统一的治理和安全层。共享操作不仅限于数据表,还涵盖卷、笔记本和AI模型。访问控制通过云令牌或预签名URL实现,确保只有授权方能在限定时间内访问存储。所有操作均经过授权检查并记录详细日志,且交互仅限于接收方和提供方的控制平面,外部代理无法触发,从而增强了安全性。

开放共享(D2O)的灵活性与安全措施

D2O场景允许Databricks客户与外部第三方用户共享数据,无需对方拥有Databricks账户。通过生成一次性激活URL和凭证文件,接收方可以使用开源连接器(如pandas、Tableau、Spark等)直接访问数据。提供方可在发生安全泄露时立即更改凭证或撤销读取权限。这种模式在确保安全协议的同时,提供了跨平台的灵活性,便于与外部合作伙伴协作。

跨云数据共享的网络与存储配置

Delta Sharing支持跨云和同云场景的安全数据交换。在同云内,通过私有端点、存储防火墙和网络网关确保无公共访问;跨云时,利用NAT网关出口IP和现有的跨云私有连接(如站点到站点VPN或专用链路)。该配置与Azure、AWS、GCP等云平台的存储安全架构无缝集成,无需大幅修改现有安全框架,同时强调私有通信通道或IP白名单以增强安全性。

数据过滤实现精细访问控制

Delta Sharing提供两种主要的数据过滤方法:分区过滤和动态视图。分区过滤允许根据接收方属性共享特定表分区(参数化分区共享),实现灵活的数据提供。动态视图则通过current_recipient等动态函数,与接收方共享任意数据子集,提供细粒度访问控制。这些方法基于接收方属性限制访问,确保数据仅与预期接收方在适当上下文中共享,增强了安全性和灵活性。

❓

Q&A

Delta Sharing是什么?

Delta Sharing是一种由Databricks和Linux基金会开发的开源数据共享解决方案,支持跨平台、云和区域的安全数据共享。

Delta Sharing支持哪些数据格式?

Delta Sharing支持多种应用程序和数据格式,包括表格数据、非表格数据资产如卷、笔记本和AI模型。

Delta Sharing的安全架构是怎样的?

Delta Sharing的安全架构通过三种共享场景实现,包括Databricks客户间的共享、客户与外部用户的开放共享,以及跨云数据共享,确保数据交换的安全性。

如何在Delta Sharing中实现数据过滤?

Delta Sharing提供两种数据过滤方法:分区过滤和动态视图,允许根据接收者属性灵活控制数据访问。

Delta Sharing如何支持跨云数据共享?

Delta Sharing通过支持多云环境的安全数据共享,帮助企业在不同云平台之间实现数据交换,促进创新和增长。

Delta Sharing在企业中的应用案例有哪些?

例如,Cox Automotive使用Delta Sharing来安全地管理和审计与外部合作伙伴共享的数据,确保安全性和治理。

🏷️

标签

➡️

继续阅读