Typowe wzorce w inżynierii danych

Wprowadzenie do Databricks SQL

Kevin Barlow

Data Manager

Motywacja

Diagram Lakehouse – transformacja

Obsługa przychodzących danych

Przyrostowe dołączanie

Dodaje nowe dane na koniec istniejącej tabeli

INSERT INTO students 
TABLE visiting_students;

Diagram przyrostowego dołączania

Przechwytywanie zmian danych (CDC)

Integruje dane z istniejącą tabelą

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Diagram CDC

Optymalizacje danych

OPTIMIZE

Kompaktuje podzbiór danych
Redukuje problem „małych plików"

Z-ORDER

Analogia do indeksowania w bazach danych
Grupuje powiązane dane w tych samych plikach
Może skrócić czas odczytu danych

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Czas na ćwiczenia!

Wprowadzenie do Databricks SQL