मेडेलियन आर्किटेक्चर

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

Raw से Ready तक

कच्चा डेटा लेकहाउस में आता है - अब आगे क्या?
बिखरे, अनवैधित रिकॉर्ड्स को साफ़ इनसाइट्स तक जाना है
मेडेलियन आर्किटेक्चर यही हल देता है

डेटा क्वालिटी समस्या

recraft: half: एक उलझन में डेटा इंजीनियर, आधुनिक लैपटॉप स्क्रीन में घुसती उलझी हुई डेटा स्ट्रीम्स देख रहा है

कई दर्जन स्रोतों से कच्चा डेटा
मिसिंग फ़ील्ड्स, डुप्लिकेट्स, मिसमैच्ड टाइप्स
एनालिस्ट्स को विश्वसनीय डेटा चाहिए

तीन लेयर, एक उद्देश्य

nanobanana: full: तीन चरणों वाला प्रोफेशनल किचन वर्कफ़्लो, बाएँ से दाएँ: ब्रॉन्ज लेबल वाला क्रेट में कच्ची सामग्री, सिल्वर लेबल वाला प्रेप स्टेशन पर कट सब्ज़ियाँ, गोल्ड लेबल वाली सुंदर परोसी डिश, साफ़ मॉडर्न इलस्ट्रेशन

Bronze लेयर

डेटा को आते ही कैप्चर करता है
असंगत फ़ॉर्मेट्स और nullable फ़ील्ड्स
Append-only - कुछ डिलीट/मॉडिफाई नहीं होता
आपका सेफ़्टी नेट - हमेशा ट्रेस कर सकते हैं

{"pickup": "2024-03-15T08:23",
 "dropoff": "2024-03-15 8:41",
 "fare": null,
 "zone": "236",
 "distance": "4.2mi"}

{"pickup": "03/15/2024 09:10",
 "dropoff": "2024-03-15T09:32",
 "fare": 18.50,
 "zone": "unknown",
 "distance": 6.1}

Silver लेयर

SELECT * FROM silver_taxi_trips
LIMIT 3;

pickup_ts   | dropoff_ts  | fare  | zone_id | dist_km
2024-03-15 | 2024-03-15 | 14.20 | 236     | 6.8
2024-03-15… | 2024-03-15 | 18.50 | 142     | 9.8
2024-03-15 | 2024-03-15 | 22.00 | 79      | 12.1

Timestamps → सही datetime टाइप्स
Nulls हटे, डुप्लिकेट्स निकले
स्कीमा enforced - टाइप्स सुसंगत

Gold लेयर

बिज़नेस-लेवल एग्रीगेट्स
डैशबोर्ड्स और एग्ज़ेक्युटिव रिपोर्ट्स को पावर करता है
तेज़ consumption के लिए ऑप्टिमाइज़्ड

SELECT * FROM gold_taxi_daily
LIMIT 3;

date       | zone_name      | avg_fare | trips
2024-03-15 | Upper East     | 16.80    | 1,247
2024-03-15 | Midtown        | 22.45    | 3,891
2024-03-15 | Financial Dist | 19.10    | 2,156

कौन-सी लेयर आमतौर पर कौन इस्तेमाल करता है?

nanobanana: full: तीन क्षैतिज लेयर ऊर्ध्वाधर स्टैक्ड: सबसे ऊपर Gold लेयर पर एनालिस्ट आइकन, बीच में Silver पर डेटा साइंटिस्ट आइकन, नीचे Bronze पर डेटा इंजीनियर आइकन, हर एक पर भूमिका लेबल, साफ़ इन्फ़ोग्राफ़िक शैली

ये सामान्य पैटर्न हैं, कड़े नियम नहीं - कोई भी भूमिका किसी भी लेयर तक पहुँच सकती है

सारांश

Bronze - सब कुछ raw कैप्चर, आपका सेफ़्टी नेट
Silver - क्लीन और वैलिडेटेड, भरोसेमंद फ़ाउंडेशन
Gold - बिज़नेस एग्रीगेशन, सर्व्ड इनसाइट्स
हर लेयर → अलग कंज़्यूमर्स, अलग स्टैंडर्ड्स

nanobanana: half: तीन-स्तरीय अवॉर्ड पोडियम, ब्रॉन्ज, सिल्वर और गोल्ड मेडल्स से डेटा क्वालिटी लेयर दर्शाते हुए, साफ़ मॉडर्न स्टाइल

अभ्यास करते हैं!

Databricks Lakehouse परिचय