आम डेटा इंजीनियरिंग पैटर्न

Databricks SQL परिचय

Kevin Barlow

Data Manager

प्रेरणा

लेकहाउस डायग्राम - ट्रांसफ़ॉर्मेशन

इनकमिंग डेटा संभालना

इन्क्रिमेंटल अपेंड

नए डेटा को मौजूदा टेबल के अंत में जोड़ें
```
INSERT INTO students 
TABLE visiting_students;
```

इन्क्रिमेंटल अपेंड डायग्राम

Change Data Capture (CDC)

डेटा को मौजूदा टेबल में इंटीग्रेट करता है
```
MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET *;
```

CDC डायग्राम

डेटा ऑप्टिमाइज़ेशन

OPTIMIZE

डेटा के सबसेट को कॉम्पैक्ट करें
"small file problem" कम करता है

Z-ORDER

डेटाबेस सिस्टम के इंडेक्सिंग जैसा
संबंधित डेटा को वही फ़ाइलों में साथ रखता है
डेटा पढ़ने का समय घटा सकता है

> OPTIMIZE table_name;

> OPTIMIZE table_name 
    WHERE date >= '2024-01-01';

> OPTIMIZE table_name
    WHERE date >= current_timestamp() 
        - INTERVAL 1 day
    ZORDER BY (eventType);

अभ्यास करते हैं!

Databricks SQL परिचय