Các mẫu phổ biến trong kỹ thuật dữ liệu

Nhập môn Databricks SQL

Kevin Barlow

Data Manager

Động lực

Sơ đồ Lakehouse - Chuyển đổi

Xử lý dữ liệu đến

Ghi bổ sung gia tăng

Thêm dữ liệu mới vào cuối bảng hiện có
```
INSERT INTO students 
TABLE visiting_students;
```

Sơ đồ ghi bổ sung gia tăng

Ghi nhận thay đổi dữ liệu (CDC)

Hòa trộn dữ liệu vào bảng hiện có

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Sơ đồ CDC

Tối ưu dữ liệu

OPTIMIZE

Gom các phần dữ liệu nhỏ lại
Giảm "vấn đề tệp nhỏ"

Z-ORDER

Tương tự đánh chỉ mục trong hệ CSDL
Đồng vị trí dữ liệu liên quan vào cùng tệp
Có thể giảm thời gian đọc dữ liệu

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Hãy thực hành!

Nhập môn Databricks SQL