一张图解释数据合同如何实施

💡 原文中文,约800字,阅读约需2分钟。
📝

内容提要

数据合约是数据生产者和数据消费者之间就数据的内容、质量、语义等达成的协议。合约包含模式、版本、SLA元数据、语义和数据所有者等信息。实施示例包括使用git仓库管理模式变更,将数据推送到Kafka主题进行验证,不符合合约的数据推送到死信主题,符合合约的数据推送到验证数据主题。实时数据直接从验证数据主题获取,验证数据会被推送到对象存储进行额外验证,然后转换和建模用于分析。违反SLA会发出警报,失效数据由Flink应用程序消耗并提供恢复功能。

🏷️

标签

➡️

继续阅读