亚马逊AWS官方博客
·
基于 Datahub +Redshift 自动生成字段级血缘
💡
原文中文，约17800字，阅读约需43分钟。
📝
内容提要
随着企业数据的增长，Amazon Redshift成为数据分析的重要工具。数据血缘关系的追踪对企业至关重要，有助于影响分析、问题排查和合规审计。本文介绍了一种基于DataHub和SQLLineage的改进方案，通过Lambda函数实现轻量级的元数据和血缘关系管理，支持多种计算引擎，具备良好的扩展性和低运维成本。
🎯
关键要点
- 随着企业数据规模的快速增长，Amazon Redshift成为数据分析的重要工具。
- 数据血缘关系的追踪对企业至关重要，有助于影响分析、问题排查和合规审计。
- 本文介绍了一种基于DataHub和SQLLineage的改进方案，通过Lambda函数实现轻量级的元数据和血缘关系管理。
- 该方案支持多种计算引擎，具备良好的扩展性和低运维成本。
- DataHub作为开源元数据平台，为Redshift提供了轻量级的血缘管理方案，但存在解析不稳定等问题。
- 方案中引入SQLLineage工具，通过Lambda实现无服务器模式的SQL解析和字段级血缘关系生成。
- 自动获取Redshift的数仓SQL是关键挑战之一，使用SYS_QUERY_HISTORY系统表增量读取INSERT SQL。
- 生成字段级血缘关系需要获取表的Schema信息，以确保解析的准确性。
- DataHub提供Python API用于构造元数据并发送到DataHub。
- 方案具备良好的扩展性，能够支持Hive/Spark/Flink等其他计算引擎。
- 部署方案包括使用Docker Compose搭建DataHub Demo和创建Lambda Layer。
- 创建血缘解析Lambda函数用于解析SQL并生成血缘关系，设置S3触发器以响应SQL文件上传事件。
- 创建SQL获取Lambda函数用于读取Redshift元数据信息和获取INSERT语句。
- 完成部署后，通过Demo演示效果，展示生成的列级别血缘关系。
- 该方案为数据团队提供了实用的数据血缘追踪工具，适合中小型数据团队使用。
➡️
