常見的資料工程樣式

Databricks SQL 入門

Kevin Barlow

Data Manager

動機

Lakehouse Diagram - Transformation

處理匯入資料

增量附加

將所有新資料加到既有資料表末端

INSERT INTO students 
TABLE visiting_students;

Incremental Append Diagram

變更資料擷取（CDC）

將資料整合進既有資料表

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

CDC Diagram

資料最佳化

OPTIMIZE

將部分資料壓縮成較大區塊
降低「小檔案問題」

Z-ORDER

類似資料庫的索引
將相關資料放到同一批檔案
可縮短讀取時間

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

一起來練習吧！

Databricks SQL 入門