dbt のモデルとは？
dbt入門
Mike Metzger
Data Engineer
データモデルとは？
- 文脈により定義が変わる概念的なもの
- データの論理的意味を表す
- データと構成要素の関係を示す
- 利用者の協働を助ける
データモデルとは？
- 文脈により定義が変わる概念的なもの
- データの論理的意味を表す
- データと構成要素の関係を示す
- 利用者の協働を助ける
| 種 | 脚の数 | 有毒 |
|---|---|---|
| チーター | 4 | いいえ |
| アヒル | 2 | いいえ |
| カモノハシ | 4 | はい |
| ガラガラヘビ | 0 | はい |
dbt のモデルとは？
- さまざまな変換を表す
- 通常は SQL で記述
- 新しいバージョンでは Python も可
- たいていは
SELECTクエリ - 各モデルは .sql 拡張子のテキストファイル
シンプルな dbt モデル
models配下にディレクトリを作成- その中に
.sqlファイルを作成 - 作成したファイルに SQL を記述
dbt runでモデルをマテリアライズ
bash> mkdir models/order
bash> touch models/order/customer_orders.sql
select first_name,
last_name,
shipping_address,
item_quantity
from source_table
bash> dbt run
Parquet の読み込み
- Parquet とは？
- 列指向のバイナリ形式
- DuckDB は Parquet を直接読み込み可能
- read_parquet
SELECT * FROM read_parquet('filename.parquet')
- あるいはファイル名をシングルクオートで指定
SELECT * FROM 'filename.parquet'
実践してみましょう！
dbt入門
