Modele comune în ingineria datelor

Introducere în Databricks SQL

Kevin Barlow

Data Manager

Motivație

Diagrama Lakehouse - Transformare

Gestionarea datelor primite

Adăugare incrementală

Adaugă toate datele noi la sfârșitul tabelului existent
```
INSERT INTO students 
TABLE visiting_students;
```

Diagrama adăugării incrementale

Change Data Capture (CDC)

Integrează datele în tabelul existent

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Diagrama CDC

Optimizări ale datelor

OPTIMIZE

Compactează un subset de date
Reduce „problema fișierelor mici"

Z-ORDER

Similar cu indexarea din bazele de date
Colocalizează datele corelate în aceleași fișiere
Poate reduce timpul de citire a datelor

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Să exersăm!

Introducere în Databricks SQL