Lakehouse क्यों?

Databricks Lakehouse परिचय

Gang Wang

Senior Data Scientist

आप क्या सीखेंगे

$$

$$

Databricks का फुल-कलर लोगो

$$

Databricks Lakehouse जानिए

  1. Lakehouse में डेटा कैसे organized होता है
  2. Compute और notebooks कैसे मैनेज करें
  3. डेटा को सुरक्षित रूप से कैसे govern और शेयर करें
  4. अपना काम प्रोडक्शन में कैसे deploy करें
Databricks Lakehouse परिचय

इंस्ट्रक्टर से मिलें

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australia (2021–Present)

  • PhD के बाद 9+ साल का अनुभव

       

Databricks Lakehouse परिचय

डेटा लेक का वादा

$$

आधा: एक बड़ा खुला वेयरहाउस जिसमें तरह-तरह के रंगीन बैरल और क्रेट रखे हैं, जो विविध कच्चे डेटा स्टोरेज को दर्शाते हैं

$$

  • कम लागत पर कोई भी डेटा स्टोर करें
  • Structured, semi-structured, unstructured
  • लचीला schema-on-read
Databricks Lakehouse परिचय

लेक की अंधेरी साइड

$$

  • डेटा क्वालिटी पर कोई guarantees नहीं
  • बिल्ट-इन गवर्नेंस या एक्सेस कंट्रोल नहीं
  • "Data swamp" - भरोसेमंद डेटा खोजना मुश्किल
  • Analytics और AI के लिए अलग टूल्स चाहिए

$$

आधा: एक काला धुंधला दलदल, उलझी बेलें और कीचड़ में डूबती बिखरी फाइलें, जो खोए और अविश्वसनीय डेटा वाले data swamp को दर्शाती हैं

Databricks Lakehouse परिचय

वेयरहाउस का ट्रे़ड-ऑफ

$$

  • रिलाएबल और performant
  • मजबूत गवर्नेंस
  • लेकिन महँगा और rigid
  • केवल structured डेटा तक सीमित

$$

आधा: एक सुसंगठित लाइब्रेरी, रैकों पर सलीके से रखी किताबें, जो structured और भरोसेमंद स्टोरेज को दर्शाती हैं

Databricks Lakehouse परिचय

Lakehouse आए

$$

तुलना: Data Lake, Flexible, Cheap, Unstructured | Data Warehouse, Reliable, Governed, Rigid

Databricks Lakehouse परिचय

Databricks में यह कैसे सफल होता है?

$$

  • Open file formats (Delta Lake)
  • लेक पर ACID transactions
  • Unified governance (Unity Catalog)
  • एनालिटिक्स, AI, और apps के लिए एक प्लेटफ़ॉर्म

$$

आधा: चार स्टैक्ड बिल्डिंग ब्लॉक्स की टॉवर, नीचे से ऊपर तक लेबल: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, साफ आधुनिक इन्फोग्राफिक शैली

Databricks Lakehouse परिचय

Lakehouse डेटा क्वालिटी बढ़ाता है

$$

फ्लोचार्ट: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • लिखते समय schema enforcement
  • ट्रांजैक्शन लॉग हर बदलाव ट्रैक करें
  • Time travel - पुराने वर्ज़न क्वेरी करें
Databricks Lakehouse परिचय

सारांश

$$

  • Data lakes - flexible पर unreliable
  • Data warehouses - reliable पर rigid और costly
  • Lakehouse - दोनों का मेल, एक प्लेटफ़ॉर्म
  • Delta Lake, ACID, और Unity Catalog द्वारा समर्थित
Databricks Lakehouse परिचय

अभ्यास करते हैं!

Databricks Lakehouse परिचय

Preparing Video For Download...