初次專案實作

dbt 入門

Mike Metzger

Data Engineer

dbt 工作流程

  1. 建立專案（dbt init）
  2. 設定組態（profiles.yml）
  3. 建立／使用模型／樣板
  4. 執行模型（dbt run）
  5. 驗證／測試／除錯
  6. 需要時重複
dbt 入門

dbt run

  • 模型變更時執行
  • 或當需要實體化資料流程時
  • 輸出會詳列各步驟成功與失敗
  • 實體化＝將轉換結果寫成資料表／檢視表
repl:~$ dbt run

04:52:11  Running with dbt=1.8.4
...
04:52:13  1 of 1 START sql view model main.sales_data ....... [RUN]
04:52:13  1 of 1 OK created sql view model main.sales_data . [OK in 0.12s]  
...
04:52:13  Completed successfully
dbt 入門

資料表 vs 檢視表

Tables：

  • 資料庫／倉儲中的承載資料物件
  • 會佔用資料庫空間
  • 內容僅在變更時更新

$$

  • 可由 dbt 建立 ✅

Views：

  • 可像資料表般查詢；本身不存資料
  • 通常以對其他資料表的 select 查詢定義
  • 每次查詢即時產生內容

$$

  • 可由 dbt 建立 ✅
dbt 入門

一起來練習吧！

dbt 入門

Preparing Video For Download...