Delta Sharing如何实现安全的端到端协作

Delta Sharing如何实现安全的端到端协作

💡 原文英文,约2200词,阅读约需8分钟。
📝

内容提要

Delta Sharing是由Databricks和Linux基金会开发的开源数据共享解决方案,支持跨平台和云的安全数据交换。它提供灵活的架构,适用于多种数据格式和应用,提升操作效率和决策速度。Delta Sharing确保数据共享过程中的隐私保护,适用于客户间共享和开放共享场景,帮助企业实现高效、安全的数据协作。

🔎

延伸解读

三种共享场景的安全机制解析

文章详细介绍了Delta Sharing的三种共享场景:Databricks客户间(D2D)、Databricks客户对开放共享(D2O)以及跨云共享。D2D场景下,通过Unity Catalog实现统一治理,无需令牌交换,并支持共享非表格数据如卷、笔记本和AI模型。D2O场景则通过一次性激活URL和凭证文件,让外部用户使用开源连接器安全访问数据。跨云共享则利用云原生存储安全架构,支持私有端点、IP白名单等网络配置。这些机制共同确保了端到端的安全协作。

非表格数据共享的独特实现

Delta Sharing不仅支持表格数据,还能共享卷、笔记本和AI模型等非表格资产,但目前仅限D2D场景。笔记本可通过预签名URL以HTML形式预览,或使用base64编码和API调用导入接收方环境。AI模型共享则通过生成只读SAS令牌,允许一次性复制到接收方的模型注册表,并可部署到多个区域以优化推理性能。这种针对不同数据类型的定制化方法,体现了平台在安全性和灵活性上的平衡。

跨云共享的网络与安全配置

对于采用多云策略的企业,Delta Sharing提供了跨云共享能力。它利用云存储解决方案(如ADLS Gen2、S3、GCS),并强调私有通信通道或IP白名单。在同云共享中,使用私有端点、存储防火墙和网络网关,禁止公共访问;跨云共享则借助NAT网关出口IP,并支持现有的跨云私有连接(如站点到站点VPN或专用链路)。这种设计无需大幅修改现有安全框架,即可实现安全的数据交换,适应多种网络基础设施。

客户案例揭示的实际价值

文章引用了Coastal Community Bank、Cox Automotive Europe和Deutsche Börse的案例,展示了Delta Sharing在实际应用中的价值。Coastal Community Bank通过它满足严格的合规和安全需求,实现轻松协作;Cox Automotive Europe无需复制数据即可安全共享,且接收方无需在工作区中有身份;Deutsche Börse则借助细粒度访问控制,开启了与客户定制化解决方案的对话。这些案例表明,Delta Sharing能解决以往难以克服的

❓

Q&A

Delta Sharing是什么?

Delta Sharing是由Databricks和Linux基金会开发的开源数据共享解决方案,支持跨平台和云的安全数据交换。

Delta Sharing如何确保数据共享的安全性?

Delta Sharing通过严格的安全架构和隐私保护措施,确保数据共享过程中的安全性,支持多种数据格式和应用。

Delta Sharing支持哪些数据格式和应用?

Delta Sharing支持多种数据格式,包括结构化和非结构化数据,以及AI模型和笔记本等应用。

企业如何利用Delta Sharing提高操作效率?

企业可以通过Delta Sharing实现安全、简化的数据交换,减少复杂性和风险,从而提升操作效率和决策速度。

Delta Sharing在跨云共享场景中的应用是什么?

在跨云共享场景中,Delta Sharing确保安全的数据访问,支持多种云平台的集成,促进内部和外部的数据共享。

如何设置Databricks Delta Sharing?

设置Databricks Delta Sharing需要至少一个启用Unity Catalog和Metastore的Databricks工作区,以及相应的管理员权限。

🏷️

标签

➡️

继续阅读