Häufige Data-Engineering-Muster

Einführung in Databricks SQL

Kevin Barlow

Data Manager

Motivation

Lakehouse-Diagramm – Transformation

Eingehende Daten verarbeiten

Inkrementelles Anhängen

Neue Daten ans Tabellenende anhängen

INSERT INTO students 
TABLE visiting_students;

Diagramm: Incremental Append

Change Data Capture (CDC)

Integriert Daten in bestehende Tabelle

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;

Diagramm: CDC

Datenoptimierungen

OPTIMIZE

Kompaktiert Teilmengen von Daten
Verringert das „Small-File-Problem“

Z-ORDER

Ähnlich wie Indexierung in Datenbanken
Platziert zusammengehörige Daten in denselben Dateien
Kann Lesezeiten reduzieren

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

Lass uns üben!

Einführung in Databricks SQL