Architektura medalionowa

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Od surowych danych do gotowych

Dane surowe trafiają do lakehouse — i co dalej?
Nieuporządkowane, niezwalidowane rekordy potrzebują drogi do czystych wniosków
Architektura medalionowa rozwiązuje ten problem

Problem jakości danych

recraft: half: A confused data engineer looking at messy tangled data streams flowing into a modern laptop screen

Dane surowe z dziesiątek źródeł
Brakujące pola, duplikaty, niezgodne typy
Analitycy potrzebują wiarygodnych danych

Trzy warstwy, jeden cel

nanobanana: full: Professional kitchen workflow in three stages left to right: raw ingredients in a crate labeled Bronze, a prep station with chopped vegetables labeled Silver, a beautifully plated dish labeled Gold, clean modern illustration

Warstwa brązowa

Przechwytuje dane w momencie napływu
Niespójne formaty i pola dopuszczające wartości null
Tylko dopisywanie — nic nie jest usuwane ani modyfikowane
Twoja siatka bezpieczeństwa — zawsze możesz wrócić do źródła

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Warstwa srebrna

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Znaczniki czasu → właściwe typy datetime
Wartości null usunięte, duplikaty wyeliminowane
Schemat wymuszony — spójne typy

Warstwa złota

Agregaty na poziomie biznesowym
Zasila dashboardy i raporty zarządcze
Zoptymalizowana pod kątem szybkiego odczytu

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Kto zazwyczaj korzysta z której warstwy?

nanobanana: full: Three horizontal layers stacked vertically: Gold layer at top with analyst icon, Silver layer in middle with data scientist icon, Bronze layer at bottom with data engineer icon, each labeled with role name, clean infographic style

To są typowe wzorce, nie sztywne reguły — każda rola może korzystać z dowolnej warstwy

Podsumowanie

Brązowa — przechwytuje wszystko w surowej postaci, twoja siatka bezpieczeństwa
Srebrna — czyści i waliduje, niezawodny fundament
Złota — agreguje dane dla biznesu, gotowe wnioski
Każda warstwa → inni odbiorcy, inne standardy

nanobanana: half: Three-tiered award podium with bronze, silver, and gold medals representing data quality layers, clean modern style

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse