无需迁移数据，释放投资洞察：Lakehouse Federation
内容提要
Databricks Lakehouse Federation 支持企业直接查询本地数据库（如 SQL Server），无需将数据上云或复制。结合 Databricks Marketplace 的第三方数据（如 FactSet），可在 Unity Catalog 中并排呈现，用一条 SQL 完成关联分析。文章以财富管理公司为例，展示如何构建投资仪表盘和 Genie 自然语言问答，全程不复制持仓数据，兼顾安全与合规。该模式同样适用于医疗、制造、零售等行业。
延伸解读
联邦查询的核心：数据不动，计算动
文章强调，Lakehouse Federation 的关键在于将计算带到数据所在处，而非把数据搬到计算端。通过创建到 SQL Server 等外部数据库的联邦连接，Databricks 能直接查询源库，数据始终留在本地。这避免了复制敏感持仓数据到云端的合规风险，也省去了维护 ETL 管道和物化视图的负担。每次查询都实时访问源数据，确保分析基于最新状态。
第三方数据订阅：Marketplace 的即用价值
文章以 FactSet 为例，展示了通过 Databricks Marketplace 订阅第三方金融数据的流程。用户搜索数据集、请求访问，获批后数据以共享目录形式出现在 Unity Catalog 中，无需摄取或复制。这使得本地持仓数据与云端市场数据能在同一目录下并排呈现，用一条 SQL 即可关联分析，省去了传统的数据集成步骤。
从仪表盘到自然语言问答：分析民主化
文章构建的投资仪表盘直接内联联合查询，不创建视图或持久化表，每次刷新都重新联邦源数据。更进一步，Genie 代理被配置为理解相同的连接链和数据质量过滤器，将自然语言问题翻译成相同的 SQL 查询。这让投资组合经理、顾问甚至个人投资者无需编写 SQL 就能获取洞察，实现了数据访问的民主化。
模式可复制，但需评估实时查询开销
文章指出，这种“联邦敏感一方数据、订阅云端第三方数据、不移动不复制”的模式适用于医疗、制造、零售等行业。不过，文章也隐含了一个限制：每次查询都实时联邦源库，可能对源数据库造成压力，且性能取决于网络和源库响应。读者在借鉴时需评估查询频率和源系统负载，而非无条件套用。
Q&A
Databricks Lakehouse Federation 是什么？它主要解决什么问题？
Databricks Lakehouse Federation 是一种让企业直接查询外部数据库（如 SQL Server、PostgreSQL、MySQL、Snowflake 等）而无需复制或移动数据的技术。它主要解决敏感数据（如本地持仓数据）与云端第三方数据难以安全整合的问题，避免数据上云带来的合规风险和高成本 ETL 管道。
如何在不复制数据的情况下，将本地数据库与第三方数据结合分析？
通过 Databricks Lakehouse Federation 创建到本地数据库的联邦连接，并映射为外部目录（Foreign Catalog），使本地表在 Unity Catalog 中像原生表一样可查询。同时，通过 Databricks Marketplace 订阅第三方数据（如 FactSet），数据以共享目录形式呈现。两者在 Unity Catalog 中并排，用一条 SQL 即可关联查询，数据始终留在原处。
使用 Lakehouse Federation 需要编写 ETL 管道或创建物化视图吗？
不需要。Lakehouse Federation 直接查询外部数据源，无需编写 ETL 管道、创建物化视图或持久化任何中间表。每次查询都会实时联邦到源数据库并重新关联，仪表板每个组件刷新时也会重新联邦，确保数据最新且不落地。
Lakehouse Federation 如何确保敏感数据的安全与合规？
因为数据始终保留在本地数据库中，不会复制到云端，所以敏感数据（如持仓、交易头寸、客户信息）不离开企业防火墙，避免了数据泄露和合规风险。查询在源数据库上实时执行，只有计算结果返回，原始数据不被移动。
除了金融行业，Lakehouse Federation 还适用于哪些场景？
该模式广泛适用于医疗、制造、零售等行业。例如：医疗组织可联邦 HIPAA 保护的患者记录与药物相互作用数据库；制造企业可联邦本地 IoT 遥测数据与云端供应链数据；零售商可结合店内 POS 系统与第三方人口统计数据。核心是敏感第一方数据保持受保护，同时与第三方数据联合分析。
Genie 自然语言问答如何与 Lakehouse Federation 结合使用？
Genie 代理可以直接连接到联邦的持仓表和 FactSet 市场表，接收连接链和数据质量过滤指令，将自然语言问题翻译成与仪表板相同的 SQL 查询。这样，投资组合经理、财务顾问等无需编写 SQL 即可获得答案，实现数据访问民主化，且全程不物化任何数据。
