De medaillonarchitectuur

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Van rauw naar klaar

Rauwe data komt in de lakehouse — en nu?
Rommelige, niet-gevalideerde records moeten naar schone inzichten
De medaillonarchitectuur lost dit op

Het datakwaliteitsprobleem

recraft: half: Een verwarde data-engineer kijkt naar rommelige verwarde datastromen die in een moderne laptopscherm vloeien

Rauwe data uit tientallen bronnen
Ontbrekende velden, duplicaten, afwijkende types
Analisten hebben betrouwbare data nodig

Drie lagen, één doel

nanobanana: full: Professionele keukenworkflow in drie fasen van links naar rechts: rauwe ingrediënten in een krat met label Brons, een snijstation met gesneden groenten met label Zilver, een mooi opgemaakt gerecht met label Goud, strakke moderne illustratie

De bronzen laag

Legt data vast zodra die binnenkomt
Inconsistente formaten en nullable velden
Alleen toevoegen — niets wordt verwijderd of aangepast
Je vangnet — altijd terug te herleiden

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

De zilveren laag

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamps → juiste datetime-types
Nulls verwijderd, duplicaten geëlimineerd
Schema afgedwongen — consistente types

De gouden laag

Businessniveau-aggregaties
Voedt dashboards en managementrapporten
Geoptimaliseerd voor snelle consumptie

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Wie gebruikt meestal welke laag?

nanobanana: full: Drie horizontale lagen boven elkaar: gouden laag boven met analistenpictogram, zilveren laag in het midden met data scientist-pictogram, bronzen laag onder met data-engineer-pictogram, elk gelabeld met rolnamen, strakke infographic-stijl

Dit zijn gebruikelijke patronen, geen strikte regels — elke rol kan elke laag gebruiken

Samenvatting

Brons — vangt alles rauw, je vangnet
Zilver — schoonmaakt en valideert, betrouwbare basis
Goud — aggregeert voor de business, geserveerde inzichten
Elke laag → andere gebruikers, andere standaarden

nanobanana: half: Driedelig prijzenpodium met bronzen, zilveren en gouden medailles die datakwaliteitslagen voorstellen, strakke moderne stijl

Laten we oefenen!

Introductie tot Databricks Lakehouse