连接不可连接的数据：使用Databricks ARC实现简单、自动化、可扩展的数据链接
内容提要
Databricks ARC增强了数据链接功能，通过简单的框架找到两个不同表之间的链接，解决了没有共同字段或数据质量差的数据链接挑战。ARC使用概率数据链接或模糊匹配来确定如何链接数据，简化了流程，无需手动定义规则。ARC可以减少迁移和集成的时间和成本，实现部门间和政府间的协作，并将数据与适合其特性的模型进行链接。数据链接的准确性可以通过精确度、召回率和F1分数来衡量。ARC是一个开源项目，可在PyPi上获得。
延伸解读
从规则到学习：数据链接的范式转变
传统数据链接依赖专家手动编写规则，随着数据量和属性增加，规则系统变得复杂、脆弱且难以维护。ARC采用概率链接和机器学习，自动从数据中学习相似性阈值，无需手动定义规则。这种转变降低了技术债务和人员依赖风险，使数据链接更可持续和可扩展。
无标签评估：ARC的合成数据验证方法
数据链接模型通常缺乏真实标签进行评估，而人工标注成本高昂。ARC使用FEBRL生成包含13万条记录（3万重复）的合成数据集，通过优化无监督指标并计算F1分数，发现两者正相关。这表明在无标签情况下，优化该指标可作为链接准确性的有效代理，为实际应用提供信心。
降低门槛：ARC如何推动数据链接民主化
ARC通过自动化简化了数据链接流程，使任何会写Python的人都能快速上手，无需实体解析经验。这降低了技能壁垒，促进了部门间和政府间的数据共享与协作。同时，ARC作为Splink的简化前端，帮助用户在学习复杂工具的同时立即产出价值，加速数据链接项目的部署。
Q&A
Databricks ARC 是什么？它主要解决什么问题？
Databricks ARC 是一个开源的数据链接工具，最初用于在单个表内自动链接数据，现在增强为可以在两个不同表之间找到链接。它主要解决没有共同字段或数据质量差时的数据链接挑战，使用概率数据链接或模糊匹配来确定如何链接数据。
ARC 与传统数据链接方法相比有什么优势？
传统数据链接依赖手动定义的复杂规则，难以扩展和维护，容易形成脆弱、难以更改的系统。ARC 通过统计相似性和机器学习简化了数据链接过程，减少了手动规则的需求，降低了技能门槛，使任何会写 Python 的人都能开始链接数据，并且可以自动量化表之间的相似性，降低迁移和集成的时间和成本。
ARC 如何评估数据链接的准确性？
数据链接的准确性可以通过精确度、召回率和 F1 分数来衡量。精确度是预测链接中正确的比例，召回率是模型找到的总链接的比例，F1 分数是两者的混合指标。然而，这些指标需要标签数据，通常难以获得。ARC 通过创建合成数据集来评估性能，并发现优化指标与 F1 分数之间存在正相关性。
ARC 在政府数据共享和协作方面有哪些应用？
ARC 可以降低数据链接的技能门槛，促进跨部门、跨政府的数据共享与协作。例如，在 COVID-19 疫情期间，数据共享对政府响应至关重要。ARC 使会写 Python 的人就能开始链接数据，并帮助学习 Splink 链接引擎，从而加速数据链接项目的开展。
如何使用 ARC 链接两个数据集？需要多少代码？
使用 ARC 链接两个数据集只需要几行代码。用户可以从 ARC 的 GitHub 仓库克隆示例笔记本到 Databricks Repo 中，运行示例即可开始链接数据。ARC 是一个开源项目，可以通过 PyPi 安装，无需先前的数据链接或实体解析经验。
ARC 如何处理没有共同字段或数据质量差的数据链接？
ARC 使用概率数据链接或模糊匹配技术，通过统计相似性和机器学习来确定记录之间的链接，而不依赖手动定义的规则。它采用无监督方法，应用标准和启发式方法去除手动定义规则的需要，使用较宽松的规则集，让计算机自动找出好的规则。
