使用Azure Databricks保护数据外泄
内容提要
本文介绍了如何在Azure Databricks上构建安全的数据架构，以防止数据外泄。Azure Databricks提供统一工具，支持网络安全控制，如用户定义路由和防火墙规则。文章强调控制平面和计算平面的结构，推荐使用私有端点和标准部署以确保安全访问，并建议采用中心-辐射网络架构以便于不同团队的隔离和安全管理。
延伸解读
控制平面与计算平面的安全职责划分
Azure Databricks 的控制平面由 Databricks 在其自有 Azure 账户中管理，负责用户认证、集群与作业编排以及工作区管理，但不直接处理数据。计算平面则负责实际数据处理，可位于客户 Azure 订阅或 Databricks 租户（无服务器）。这种分离意味着安全设计需分别考虑：控制平面存储笔记本命令和工作区配置并静态加密，而计算平面需关注数据访问和网络出口控制。
标准部署与私有终结点的最佳实践
文章推荐使用标准部署，并为前端（用户到工作区）和后端（计算平面到控制平面）分别创建私有终结点。前端私有链接应使用独立的传输 VNet，与经典数据平面中用于计算资源的 VNet 分离。这种设计可提高安全性，但需注意系统存储、消息传递和元数据访问无法通过后端私有终结点，需通过服务终结点策略等额外配置允许。
中心-辐射网络架构的隔离优势
采用中心-辐射架构，中心 VNet 托管共享基础设施（如 Azure 防火墙），辐射 VNet 与中心对等，包含针对不同业务单元或团队的隔离 Azure Databricks 工作区。也可在单个大型 VNet 中为不同团队创建独立子网，并部署多个隔离工作区。这种架构便于实现网络隔离和集中安全管理，同时支持未来扩展。
出站流量检查与路由注意事项
为确保所有出站流量经过检查，应使用用户定义路由（如默认路由 0.0.0.0/0）将计算平面子网的非本地流量导向 Azure 防火墙等出口设备。但通过私有终结点到控制平面的出站流量会绕过这些路由表和出口设备，而 SQL、事件中心和存储等其他控制平面组件仍会经过出口设备。需注意，此配置会允许访问整个区域内的存储账户和服务，而不仅是目标资源，设计时需谨慎权衡。
Q&A
如何在Azure Databricks上构建安全的数据架构？
可以通过使用私有端点、标准部署和中心-辐射网络架构来构建安全的数据架构，以防止数据外泄。
Azure Databricks的控制平面和计算平面有什么区别？
控制平面负责用户认证和工作区管理，而计算平面负责数据处理。
使用Azure Databricks时，如何确保安全访问？
建议使用私有端点和标准部署来确保安全访问，并通过网络安全控制来管理流量。
什么是中心-辐射网络架构，它如何帮助安全管理？
中心-辐射网络架构通过隔离不同团队的工作区，便于安全管理和资源共享。
在Azure Databricks中，如何处理出站流量以防止数据外泄？
需要确保所有出站流量都经过检查，并使用用户定义的路由和防火墙规则进行管理。
Azure Databricks的私有链接有什么优势？
私有链接可以提高安全性，确保前端和后端的连接都在安全的网络边界内进行。
