从零开始的 dbt 入门教程 (dbt core 开发进阶篇) - 听风是风

💡 原文中文,约16600字,阅读约需40分钟。
📝

内容提要

本文介绍了dbt中的概念、配置文件、目标数据集配置、禁用和命令传参、引用数据表、宏的定义和使用、SQL中的for循环以及增量表的使用。下一篇文章将介绍dbt云平台的自动化更新。

🎯

关键要点

  • 介绍了 dbt 中的概念和配置文件。
  • dbt 项目中有两个重要的配置文件:profiles.yml 和 dbt_project.yml。
  • profiles.yml 用于定义 dbt 适配器配置,区分开发和生产环境。
  • dbt_project.yml 用于定义项目模型文件的存放地址和创建规则。
  • dbt 项目中的配置优先级由目录层级决定,越靠下的配置权重越高。
  • 可以通过配置区分开发与生产环境,写入不同的数据集。
  • 模型的禁用可以通过命令传参或在配置中设置 enabled 属性。
  • 引用数据表有三种方式:数据库名称固定引用、source 引用和 ref 引用。
  • 宏的定义和使用可以封装可复用的方法,支持在 SQL 中使用 for 循环。
  • 增量表只更新指定日历的数据,性能更高,适合大数据量的场景。
  • 文章总结了 dbt 的重要知识点,并预告了下一篇关于 dbt 云平台的内容。
➡️

继续阅读