Arhitectura medallion

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

De la brut la gata de utilizat

Datele brute ajung în lakehouse - ce urmează?
Înregistrările dezorganizate au nevoie de un drum spre informații curate
Arhitectura medallion rezolvă această problemă

Problema calității datelor

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

Date brute din zeci de surse
Câmpuri lipsă, duplicate, tipuri nepotrivite
Analiștii au nevoie de date de încredere

Trei straturi, un singur scop

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Stratul bronze

Captează datele pe măsură ce sosesc
Formate inconsistente și câmpuri nullable
Doar adăugare - nimic nu se șterge sau modifică
Plasa ta de siguranță - poți oricând reveni la sursă

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Stratul silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamps → tipuri datetime corecte
Valorile nule eliminate, duplicatele înlăturate
Schemă impusă - tipuri consistente

Stratul gold

Agregate la nivel de business
Alimentează tablouri de bord și rapoarte executive
Optimizat pentru consum rapid

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Cine folosește de obicei ce strat?

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

Acestea sunt tipare comune, nu reguli stricte - orice rol poate accesa orice strat

Rezumat

Bronze - captează totul brut, plasa ta de siguranță
Silver - curăță și validează, fundație de încredere
Gold - agregate pentru business, informații gata de utilizat
Fiecare strat → consumatori diferiți, standarde diferite

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Hai să exersăm!

Introducere în Databricks Lakehouse