常见数据工程模式

Databricks SQL 入门

Kevin Barlow

Data Manager

动机

湖仓图 - 转换

处理入站数据

增量追加

将所有新数据追加到现有表尾部

INSERT INTO students 
TABLE visiting_students;

增量追加示意图

变更数据捕获（CDC）

将数据合并到现有表

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

CDC 示意图

数据优化

OPTIMIZE

将部分数据压缩合并
缓解"小文件问题"

Z-ORDER

类似数据库的索引
将相关数据放到同一文件
可减少读取时间

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

让我们来练习！

Databricks SQL 入门