从零开始的 dbt 入门教程 (dbt-core 基础篇) - 听风是风

原文约10600字/词,阅读约需26分钟。发表于:

最近一直在处理数据分析和数据建模的事情,所以接触了 dbt 等数据分析的工具,国内目前对于 dbt 比较详细的资料不多,所以打算写四道五篇 dbt 相关的文章,本文属于 dbt 系列的第一篇,本篇主要阐述 dbt 一些基本概念,教会你如何配置 dbt 连接远端数据库,并运行你的第一个数据模型,那么本

dbt是一种数据转换工作流工具,可以帮助数据分析师处理复杂的数据分析需求。它可以将原始数据转换为有用的数据模型。dbt core是dbt的开源部分,提供数据建模、转换和管理的核心功能。dbt cloud是dbt的云服务,提供托管服务和图形化用户界面。dbt adapters是dbt的适配器,用于提供标准化的接口,使不同的SQL语法可以与不同的底层数据平台交互。ELT和ETL是两种常见的数据分析模式,ELT适用于云数据仓库等具有强大计算能力的系统,ETL适用于需要在数据到达目标系统前进行复杂的数据清洗和转换的情况。Fivetran是从各种数据源提取数据并加载到目标数据仓库的工具,BigQuery是一个云数据仓库,dbt是一个数据转换和建模工具。安装dbt需要安装dbt core和适配器包,可以通过命令或官网模版项目进行初始化。通过配置profiles.yml文件可以链接数据库。dbt命令包括build、clean、clone、compile、debug、deps、docs、init、list、parse、retry、run、run-operation、seed、show、snapshot、source和test等。dbt可以生成视图和表,视图是基于查询结果创建的虚拟表,表是存储实际数据的实体表。

相关推荐 去reddit讨论
  1. 模块化:Mojo🔥 如何实现比 Python 快 35,000 倍的加速 – 第二部分
    在本博客文章中,我们将继续优化Mandelbrot集合问题,并将速度提高到Python的26,000倍。我们将分享使用的技术,并讨论Mojo的优势。第三部...
  2. 模块化:Mojo🔥 - 它终于来了!
    自从5月2日推出Mojo编程语言以来,已有超过120,000名开发者注册使用Mojo Playground,19,000名开发者在Discord和GitH...
  3. 模块化:Mojo🔥如何实现比Python快35,000倍的速度提升——第一部分
    本文介绍了Mojo编程语言在Mandelbrot集合问题上的性能优化,通过类型注释、严格模式和简化计算等方法,实现了46倍至89倍的速度提升。与NumPy...
  4. 模块化:Python程序员轻松入门Mojo🔥
    本文介绍了Mojo编程语言,从Python程序员的角度出发,通过一个简单的例子展示了Mojo的语法和性能优势。文章指出Mojo与Python语法相似,但在...
  5. 模块化:在Python🐍中使用Mojo🔥
    本文介绍了在Mojo中使用Python模块和包的方法,包括查找和加载模块和包、使用venv创建虚拟环境和使用Conda安装libpython。文章提供了示...
  6. Modular:我们筹集了1亿美元以改善全球开发者的AI基础设施
    Modular宣布获得1亿美元新融资,加速实现全球开发者AI基础设施愿景。他们的下一代AI开发者平台改善了AI的可编程性、可用性、可扩展性、计算效率和硬件...
  7. Modular:发布 MAX 开发者版预览
    Modular推出了Modular Accelerated Xecution (MAX)平台,旨在简化在不同硬件平台上部署AI模型。MAX包括先进的AI编...
  8. ACME的使用经验
    ACME是一个自动管理证书的程序,有多种实现,本文介绍了acme.sh的使用。安装、申请、安装证书、续签证书等步骤都有详细说明。在Windows环境下使用...
  9. 新 Mac 支持雷雳 5 了,但你真的需要它吗?
    USB-C是一种接口形状,可以与不同协议、速率和充电功率混搭。USB-C解决了线缆插入问题,但工作正常与否取决于支持的协议。USB-C线缆的兼容性还取决于...
  10. Meta 宣布推出 AI 驱动的视频生成器 Movie Gen
    Meta推出Movie Gen AI视频生成器,可通过文本生成高清视频并添加音效,还能编辑现有视频和图像。由于成本高和生成时间长,暂不公开发布。工具引发版...