极道
·
一张图解释数据合同如何实施
💡
原文中文，约800字，阅读约需2分钟。
📝
内容提要
数据合约是数据生产者和数据消费者之间就数据的内容、质量、语义等达成的协议。合约包含模式、版本、SLA元数据、语义和数据所有者等信息。实施示例包括使用git仓库管理模式变更，将数据推送到Kafka主题进行验证，不符合合约的数据推送到死信主题，符合合约的数据推送到验证数据主题。实时数据直接从验证数据主题获取，验证数据会被推送到对象存储进行额外验证，然后转换和建模用于分析。违反SLA会发出警报，失效数据由Flink应用程序消耗并提供恢复功能。
🎯
关键要点
- 数据合约是数据生产者和消费者之间关于数据内容、质量、语义等的协议。
- 数据合约包含模式、版本、SLA元数据、语义和数据所有者等信息。
- 模式变化通过git仓库管理，获得批准后推送到生成数据的应用程序和中央模式注册中心。
- 数据通过Kafka主题进行推送，Flink应用程序验证数据并处理不符合合约的数据。
- 符合合约的数据被推送到验证数据主题，实时数据直接从该主题获取。
- 验证数据会被推送到对象存储进行额外验证，并转换和建模用于分析。
- 违反SLA会向消费者和生产者发出警报，Flink应用程序处理失效数据并提供恢复功能。
➡️
