Medallionarkitekturen

Introduktion till Databricks Lakehouse

Gang Wang

Senior Data Scientist

Från rådata till redo

Rådata landar i lakehouse – vad nu?
Röriga, ovaliderade poster behöver en väg till rena insikter
Medallionarkitekturen löser detta

Problemet med datakvalitet

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

Rådata från dussintals källor
Saknade fält, dubbletter, inkompatibla typer
Analytiker behöver tillförlitlig data

Tre lager, ett syfte

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Bronsskiktet

Fångar data när den anländer
Inkonsekventa format och nullbara fält
Append-only – inget raderas eller ändras
Ditt säkerhetsnät – spåra alltid tillbaka

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Silverskiktet

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Tidsstämplar → korrekta datetime-typer
Null-värden borttagna, dubbletter eliminerade
Schema påtvingat – konsekventa typer

Guldskiktet

Aggregat på affärsnivå
Driver dashboards och ledningsrapporter
Optimerat för snabb konsumtion

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Vem använder vilket lager?

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

Det här är vanliga mönster, inte strikta regler – vilken roll som helst kan använda vilket lager som helst

Sammanfattning

Brons – fångar allt rådata, ditt säkerhetsnät
Silver – rensar och validerar, pålitlig grund
Guld – aggregerar för verksamheten, färdiga insikter
Varje lager → olika konsumenter, olika krav

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Nu kör vi en övning!

Introduktion till Databricks Lakehouse