Medallion architektura

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Od surových dat k připraveným

Surová data dorazila do lakehouse – co teď?
Neuspořádané záznamy potřebují cestu k čistým výsledkům
Řešením je medallion architektura

Problém kvality dat

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

Surová data z desítek zdrojů
Chybějící pole, duplicity, nekompatibilní typy
Analytici potřebují spolehlivá data

Tři vrstvy, jeden účel

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Bronzová vrstva

Zachycuje data při příchodu
Nekonzistentní formáty a nullable pole
Pouze přidávání – nic se nemaže ani nemění
Tvá záchranná síť – vždy se lze vrátit

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Stříbrná vrstva

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Časové značky → správné typy datetime
Odstraněny null hodnoty i duplicity
Schéma vynuceno – konzistentní typy

Zlatá vrstva

Agregace na úrovni byznysu
Pohání dashboardy a manažerské reporty
Optimalizováno pro rychlou konzumaci

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Kdo typicky používá kterou vrstvu?

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

Jde o běžné vzory, ne striktní pravidla – ke každé vrstvě má přístup libovolná role

Shrnutí

Bronze – zachycuje vše surové, záchranná síť
Silver – čistí a validuje, spolehlivý základ
Gold – agregace pro byznys, připravené výstupy
Každá vrstva → jiní konzumenti, jiné standardy

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Pojďme cvičit!

Introduction to Databricks Lakehouse