亚马逊AWS官方博客
·
使用 Amazon DataZone 和 Open Lineage 实现数据血缘
💡
原文中文，约15900字，阅读约需38分钟。
📝
内容提要
数据血缘描述数据在生命周期中的流转、变化及其来源、变更历史和输出去向。关键要素包括数据来源、转换、流动、依赖关系、质量元数据和输出。通过数据血缘，管理人员能够评估数据质量、发现问题，确保数据治理和合规性。Amazon DataZone已集成OpenLineage，支持数据血缘的捕获与可视化。
🎯
关键要点
- 数据血缘描述数据在生命周期中的流转、变化及其来源、变更历史和输出去向。
- 关键要素包括数据来源、转换、流动、依赖关系、质量元数据和输出。
- 数据血缘帮助管理人员评估数据质量、发现问题，确保数据治理和合规性。
- Amazon DataZone已集成OpenLineage，支持数据血缘的捕获与可视化。
- Amazon DataZone是一项数据管理服务，便于对存储在AWS、本地和第三方来源的数据进行分类、发现、共享和管理。
- OpenLineage是用于数据血缘收集和分析的开源框架，能够一致地收集线索元数据。
- 在实验过程中，需要使用AWS账户和IAM用户，并访问多个AWS服务。
- DataZone Domain用于连接数据资产、用户及项目，反映组织结构的数据和分析需求。
- Blueprints定义了在DataZone环境中可用的工具和服务。
- Project使用户能够在DataZone目录中进行协作。
- Environment Profile是创建Environment的模板，简化资源配置。
- Glue Crawler用于捕获、收集和展示数据血缘。
- Glue ETL Job用于处理数据并生成血缘信息。
- Redshift SQL的执行也能捕获数据血缘。
- MWAA用于实现ETL过程并通过OpenLineage捕获血缘。
- 测试结束后需要释放AWS资源，包括Cloud9、DataZone、Glue、S3、Redshift和MWAA。
- 结合Amazon DataZone和OpenLineage可以扩展数据血缘能力，提供强大的血缘追踪能力。
➡️
