读取，而非复制：用 OpenSharing 取代文件与 API 数据接入——第一部分（缘由）
内容提要
传统客户数据接入依赖SFTP文件、API拉取或托管连接器，虽可行但隐藏成本高：需逐客户维护管道、处理异常、跟踪时间戳，易重复或漏数据；回填需客户重新导出或受API限流；客户也需额外构建导出并承担重复存储。OpenSharing基于Delta Lake、Iceberg等开放表格式，可直接原地读取客户表，利用变更数据流增量获取新增、删除和更新，回填变为查询，无需复制存储，数据实时最新；客户只需授权，读取不拖慢其系统，并可通过审计追踪查看访问记录。
延伸解读
传统接入模式的隐性成本
文章指出，SFTP、API拉取和托管连接器虽能工作，但每个客户都需要单独维护管道，处理异常和跟踪时间戳。一旦记录偏移，可能导致重复或漏数据，且难以调试。回填时，文件需客户重新导出，API受限于速率限制，这些成本随客户数量增加而累积。
OpenSharing如何改变数据接入
OpenSharing基于Delta Lake、Iceberg等开放表格式，直接原地读取客户表，无需复制存储。通过变更数据流，管道可增量获取新增、删除和更新记录，回填变为查询。数据实时最新，客户只需授权，读取使用自己的计算资源，不拖慢客户系统。
对客户与数据消费者的双向价值
客户无需构建和维护导出流程，只需共享已有表并授权接收者。消费者无需支付重复存储费用，且能通过审计追踪查看访问记录，替代以往基于信任的授权。这种模式将回填从请求客户协助转变为自助查询，减少了双方协调成本。
Q&A
传统客户数据接入方式有哪些隐藏成本？
传统方式如SFTP文件、API拉取或托管连接器需要为每个客户维护管道，处理异常和跟踪时间戳，容易导致数据重复或遗漏；回填时需客户重新导出或受API限流；客户也需额外构建导出并承担重复存储成本。
OpenSharing 是什么？它基于哪些技术？
OpenSharing 是一种开放协议，用于原地读取表，基于 Delta Lake 和 Iceberg 等开放表格式。它允许直接读取客户已有的表，无需复制数据，且不依赖 Databricks 平台。
OpenSharing 如何解决数据回填问题？
如果客户共享了完整的历史表，回填就变成简单的查询操作，你可以直接查询需要回填的数据，无需请求客户重新导出或受API限流。
使用 OpenSharing 对客户有什么好处？
客户无需构建和维护导出流程，只需授权共享表；读取操作直接从云存储进行，不会拖慢客户系统；客户还可以通过 Databricks 系统表查看访问审计记录，获得可见性。
OpenSharing 如何保证数据是最新的？
OpenSharing 直接读取客户维护的表，一旦客户写入数据，立即对接收方可用。同时，共享表可以暴露变更数据流，管道运行时能读取新增、删除和更新的记录，确保数据实时最新。
OpenSharing 与传统的文件或API接入方式相比，主要区别是什么？
传统方式需要复制数据并维护管道，而 OpenSharing 是原地读取客户表，无需复制存储，利用变更数据流增量获取变化，回填变为查询，且客户只需授权，读取不拖慢其系统，并提供审计追踪。
