暂勿被微软Fabric快捷方式所迷惑
内容提要
湖屋模式是存储结构化和非结构化数据的领先模式，Azure Databricks的Unity Catalog（UC）是提供这些功能的治理平台。然而，微软的Fabric实现中的快捷方式存在治理和访问问题。Databricks和微软正在开发一个遵守治理的快捷方式实现。快捷方式尚未准备好用于生产用例。2024年将提供一个遵守治理的快捷方式解决方案。
延伸解读
快捷方式绕过治理的代价
Fabric快捷方式直接指向ADLS文件，不经过Unity Catalog，导致列掩码、视图、模型等“文件之上”的权限无法生效。用户需直接访问底层存储，这违背了大规模数据管理的最佳实践。文章指出，大型客户曾尝试文件级权限管理，最终因过于复杂而放弃。因此，快捷方式虽实现零复制，却牺牲了治理带来的合规与效率优势。
权限复制为何不可行
有人可能认为可将UC权限复制到ADLS，但文章解释这不可行：ADLS基于文件，而UC中许多权限对象（如列掩码、视图）在文件之上；复制权限等同于重建UC，微软One Security需多年才能实现；网络安全（如Private Link）依赖阻止直接访问ADLS，而快捷方式尚未支持。这些限制使快捷方式在生产中风险显著。
生产环境的风险与清理成本
文章通过作者亲身经历说明：若使用快捷方式指向原始表，数据团队无法利用视图、行级访问控制等高级构造，也无法阻止访问或通过血缘通知消费者。报表会依赖无SLA的表，可能意外中断。因此，快捷方式目前不适合生产用例；若近期使用，需理解治理和稳定性影响，并预算大量清理工作，以在治理方案就绪后解开权限纠缠。
治理合规的快捷方式即将到来
Databricks与微软正合作开发遵守治理的快捷方式实现，概念不变（在OneLake中快捷方式指向Databricks对象），但会与已建立的治理规则保持一致。预计2024年（希望是年初）推出，届时快捷方式将尊重UC策略，提供血缘、审计、自动调优等治理优势。在此之前，用户应谨慎评估快捷方式的生产适用性。
Q&A
微软Fabric的快捷方式目前存在哪些治理问题？
Fabric的快捷方式直接指向ADLS中的文件，不与Unity Catalog协商，导致所有治理优势消失，并要求用户直接访问底层存储，这是大规模数据管理中的最差实践。
为什么不能简单地将Unity Catalog的权限复制到ADLS？
原因有三：ADLS基于文件，而UC中许多权限对象（如列掩码、视图、模型）在文件之上；复制UC权限到ADLS本质上是在复制UC，微软的One Security需要多年才能实现；许多安全原语（如Private Link）依赖阻止直接访问ADLS文件，而快捷方式尚不支持。
快捷方式在生产环境中使用有哪些风险？
快捷方式目前尚未准备好用于生产用例，使用时会带来治理和系统稳定性问题，可能需要大量清理工作来理清数据权限。
Databricks和微软正在合作开发什么解决方案？
他们正在开发一种遵守治理的快捷方式实现，确保与现有治理规则一致，预计在2024年（希望是早期）推出，提供尊重UC策略的OneLake快捷方式。
湖屋模式为什么需要治理层？
治理层是实现近零复制数据策略的关键，否则策略会退化为所有人访问所有数据，这不可持续甚至非法。统一治理还能带来自动捕获血缘、审计日志、涌现语义和自动调优性能等好处。
Unity Catalog在Azure Databricks中扮演什么角色？
Unity Catalog是Azure Databricks的治理平台，提供统一访问控制、血缘捕获、审计日志等功能，确保数据访问合规，是默认设置并覆盖所有行业的合规要求。
