L'architettura medallion

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dal grezzo al pronto

I dati grezzi arrivano nel lakehouse: e ora?
Record sporchi e non validati vanno portati a insight puliti
L'architettura medallion risolve questo problema

Il problema della qualità dei dati

recraft: half: Un data engineer confuso guarda flussi di dati aggrovigliati e disordinati che confluiscono nello schermo di un laptop moderno

Dati grezzi da decine di fonti
Campi mancanti, duplicati, tipi non corrispondenti
Agli analyst servono dati affidabili

Tre livelli, un obiettivo

nanobanana: full: Flusso in cucina professionale in tre fasi da sinistra a destra: ingredienti grezzi in una cassetta etichettata Bronze, una postazione di preparazione con verdure tagliate etichettata Silver, un piatto impiattato alla perfezione etichettato Gold, illustrazione moderna pulita

Il livello bronze

Acquisisce i dati all'arrivo
Formati incoerenti e campi nullable
Append-only: niente eliminazioni o modifiche
La tua rete di sicurezza: sempre rintracciabile

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Il livello silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamp → tipi datetime corretti
Null rimossi, duplicati eliminati
Schema applicato: tipi coerenti

Il livello gold

Aggregazioni a livello business
Alimenta dashboard e report esecutivi
Ottimizzato per la fruizione rapida

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Chi usa di solito ogni livello?

nanobanana: full: Tre livelli orizzontali impilati verticalmente: livello Gold in alto con icona analyst, livello Silver al centro con icona data scientist, livello Bronze in basso con icona data engineer, ciascuno etichettato con il ruolo, infografica pulita

Sono schemi tipici, non regole rigide: ogni ruolo può accedere a qualsiasi livello

Riepilogo

Bronze: cattura tutto il grezzo, rete di sicurezza
Silver: pulisce e valida, base affidabile
Gold: aggrega per il business, insight pronti
Ogni livello → utenti e standard diversi

nanobanana: half: Podio a tre livelli con medaglie di bronzo, argento e oro che rappresentano i livelli di qualità dei dati, stile moderno pulito

Esercitiamoci!

Introduzione a Databricks Lakehouse