Arsitektur medali

Pengantar Databricks Lakehouse

Gang Wang

Senior Data Scientist

Dari mentah menjadi siap

Data mentah masuk ke lakehouse - lalu apa?
Catatan berantakan, tak tervalidasi perlu jalur ke insight bersih
Arsitektur medali menyelesaikannya

Masalah kualitas data

recraft: half: Seorang data engineer kebingungan melihat aliran data kacau yang kusut masuk ke layar laptop modern

Data mentah dari puluhan sumber
Kolom hilang, duplikasi, tipe tak cocok
Analis butuh data yang tepercaya

Tiga lapisan, satu tujuan

nanobanana: full: Alur kerja dapur profesional tiga tahap dari kiri ke kanan: bahan mentah dalam peti berlabel Bronze, stasiun persiapan dengan sayuran tercacah berlabel Silver, hidangan tersaji indah berlabel Gold, ilustrasi modern yang bersih

Lapisan bronze

Menangkap data saat tiba
Format tidak konsisten dan kolom nullable
Hanya tambah (append-only) - tidak ada yang dihapus atau diubah
Jaring pengaman Anda - selalu bisa dilacak balik

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Lapisan silver

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamp → tipe datetime yang benar
Null dihapus, duplikasi dieliminasi
Skema dipaksakan - tipe konsisten

Lapisan gold

Agregasi tingkat bisnis
Mendukung dasbor dan laporan eksekutif
Dioptimalkan untuk konsumsi cepat

SELECT * FROM gold_taxi_daily
LIMIT 3;

tanggal   | nama_zona      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

Siapa biasanya memakai lapisan mana?

nanobanana: full: Tiga lapisan horizontal tersusun vertikal: lapisan Gold di atas dengan ikon analis, lapisan Silver di tengah dengan ikon data scientist, lapisan Bronze di bawah dengan ikon data engineer, masing-masing berlabel peran, gaya infografik bersih

Ini adalah pola umum, bukan aturan kaku - peran mana pun bisa mengakses lapisan mana pun

Ringkasan

Bronze - menangkap semua yang mentah, jaring pengaman Anda
Silver - membersihkan dan memvalidasi, fondasi andal
Gold - agregasi untuk bisnis, insight siap saji
Tiap lapisan → pengguna berbeda, standar berbeda

nanobanana: half: Podium penghargaan tiga tingkat dengan medali bronze, silver, dan gold mewakili lapisan kualitas data, gaya modern bersih

Ayo berlatih!

Pengantar Databricks Lakehouse