Madalyon mimarisi

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Hamdan hazır hale

Ham veri lakehouse'a indi - şimdi ne olacak?
Dağınık, doğrulanmamış kayıtların temiz içgörüye giden bir yola ihtiyacı var
Madalyon mimarisi bunu çözer

Veri kalitesi sorunu

recraft: half: Dağınık, dolaşık veri akışlarına bakan şaşkın bir veri mühendisi, modern bir dizüstü ekranında

Düzinelerce kaynaktan ham veri
Eksik alanlar, kopyalar, uyumsuz tipler
Analistler güvenilir veri ister

Üç katman, tek amaç

nanobanana: full: Soldan sağa üç aşamalı profesyonel mutfak iş akışı: Bronz etiketli kasada ham malzemeler, Gümüş etiketli doğrama istasyonu, Altın etiketli şık tabak sunumu, temiz modern illüstrasyon

Bronz katman

Veriyi geldiği gibi yakalar
Tutarsız formatlar ve boş bırakılabilir alanlar
Yalnızca ekleme - silme/değiştirme yok
Güvenlik ağın - her zaman geri izleyebilirsin

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Gümüş katman

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Zaman damgaları → doğru datetime tipleri
Null'lar temiz, kopyalar kaldırıldı
Şema zorunlu - tutarlı tipler

Altın katman

İş düzeyi özetler
Panoları ve yönetim raporlarını besler
Hızlı tüketim için optimize

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Genelde hangi katmanı kim kullanır?

nanobanana: full: Dikey istiflenmiş üç yatay katman: Üstte analist simgeli Altın katman, ortada veri bilimci simgeli Gümüş katman, altta veri mühendisi simgeli Bronz katman; her biri rol adıyla etiketli, temiz bilgi grafiği stili

Bunlar yaygın kalıplar, katı kurallar değil - her rol her katmana erişebilir

Özet

Bronz - her şeyi ham yakalar, güvenlik ağın
Gümüş - temizler ve doğrular, güvenilir temel
Altın - iş için özetler, servis edilen içgörüler
Her katman → farklı kullanıcılar, farklı standartlar

nanobanana: half: Veri kalitesi katmanlarını temsil eden bronz, gümüş ve altın madalyalı üç basamaklı ödül podyumu, temiz modern stil

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş