डेटा ट्रांसफॉर्म करना

Databricks SQL परिचय

Kevin Barlow

Data Manager

प्रेरणा

लेकहाउस फ्लो - इनजेशन

Databricks SQL परिचय

लेकहाउस में ट्रांसफॉर्मेशन

लेकफ्लो डायग्राम - ट्रांसफॉर्मेशन

Databricks SQL परिचय

डेटा की सफाई और ट्रांसफॉर्मेशन

  • Bronze (raw) लेयर के डेटा को साफ़ कर Silver (analytics-ready) लेयर में लाना
  • डाउनस्ट्रीम डेटा टेबल्स के लिए अहम कदम
  • सामान्य गतिविधियाँ
    • NULL मान हटाना
    • मानों को स्टैंडर्डाइज़ करना
    • डेटा टाइप समायोजित करना
CREATE TABLE silver_layer AS (
SELECT DISTINCT c.id, 
    c.last_name || ', ' || c.first_name 
        AS name, 
    format(s.date,'YYYY-mm-dd') 
        AS sale_date, 
    round(s.price, 2) 
        AS sale_price
    s.item_name
FROM sales_data s
LEFT JOIN contacts c on c.id = s.id)
Databricks SQL परिचय

डेटा एग्रीगेट करना

  • Silver लेयर से डेटा जोड़कर और सरल बनाकर Gold (BI-ready) लेयर में लाना
  • किसी खास बिज़नेस इंटेलिजेंस ज़रूरत के लिए
    • व्यूज़ के लिए बढ़िया उम्मीदवार
  • सामान्य गतिविधियाँ
    • अतिरिक्त कॉलम हटाना
    • डाइमेंशंस पर एग्रीगेट करना
    • मेट्रिक्स / KPIs निकालना
CREATE VIEW q3_revenue AS (
SELECT sum(revenue) AS total_rev,
  count(*) AS total_count,
  total_rev / total_count AS avg_sale,
  category,
  item
FROM silver_layer
WHERE date BETWEEN '2024-07-01' 
  AND '2024-09-30'
GROUP BY category, item)
Databricks SQL परिचय

टास्क ऑटोमेट करना

वर्कफ़्लो GIF

Databricks SQL परिचय

अभ्यास करते हैं!

Databricks SQL परिचय

Preparing Video For Download...