Běžné vzory v datovém inženýrství

Úvod do Databricks SQL

Kevin Barlow

Data Manager

Motivace

Diagram Lakehouse – transformace

Zpracování příchozích dat

Inkrementální přidávání

Přidá nová data na konec existující tabulky

INSERT INTO students 
TABLE visiting_students;

Diagram inkrementálního přidávání

Change Data Capture (CDC)

Integruje data do existující tabulky

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Diagram CDC

Optimalizace dat

OPTIMIZE

Komprimuje podmnožinu dat
Snižuje problém „malých souborů"

Z-ORDER

Podobné jako indexování v databázích
Soustřeďuje příbuzná data do stejných souborů
Může zkrátit dobu čtení dat

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Pojďme procvičovat!

Úvod do Databricks SQL