最初のプロジェクトを扱う

dbt入門

Mike Metzger

Data Engineer

dbt のワークフロー

  1. プロジェクト作成（dbt init）
  2. 設定定義（profiles.yml）
  3. モデル／テンプレートの作成・利用
  4. モデル実行（dbt run）
  5. 検証／テスト／トラブルシュート
  6. 必要に応じて繰り返し
dbt入門

dbt run

  • モデルが変わったら実行
  • またはデータ処理を具現化（マテリアライズ）したいとき
  • 出力で各ステップの成否や詳細を確認可能
  • マテリアライズ＝変換結果をテーブル／ビューにすること
repl:~$ dbt run

04:52:11  Running with dbt=1.8.4
...
04:52:13  1 of 1 START sql view model main.sales_data ....... [RUN]
04:52:13  1 of 1 OK created sql view model main.sales_data . [OK in 0.12s]  
...
04:52:13  Completed successfully
dbt入門

テーブル vs ビュー

テーブル:

  • データベース／DWH 内のデータ保持オブジェクト
  • データベース容量を消費
  • 内容は変更時のみ更新

$$

  • dbt で作成可能 ✅

ビュー:

  • テーブル同様に参照可能だが、データは保持しない
  • 通常は他テーブルへの SELECT で定義
  • 内容はクエリごとに生成

$$

  • dbt で作成可能 ✅
dbt入門

練習しましょう！

dbt入門

Preparing Video For Download...