一般的な Data Engineering パターン

Databricks SQL 入門

Kevin Barlow

Data Manager

動機

Lakehouse 図 - 変換

受信データの処理

増分追加（Incremental Append）

既存のテーブルの末尾に新しいデータをすべて追加
```
INSERT INTO students 
TABLE visiting_students;
```

増分追加の図

変更データキャプチャ（CDC）

既存のテーブルにデータを統合

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

CDC の図

データの最適化

OPTIMIZE

データのサブセットをまとめて圧縮
「small file problem」を軽減

Z-ORDER

データベースシステムのインデックスに類似
関連データを同じファイルに配置
データ読み込み時間を短縮できる

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

練習しましょう！

Databricks SQL 入門