डेटा इनजेस्ट करना

Databricks SQL परिचय

Kevin Barlow

Data Manager

प्रेरणा

लेकहाउस फ्लो डायग्राम

Databricks SQL परिचय

लेकहाउस बनाना

लेकहाउस फ्लो डायग्राम - इनजेशन

Databricks SQL परिचय

GUI-आधारित विकल्प

Lakeflow Connect

  • डेटा इनजेस्ट करने के लिए बिल्ट-इन कनेक्टर्स
    • डेटाबेस
    • SaaS एप्लिकेशन
  • डेटा अप टू डेट रखने के लिए पाइपलाइन बनाता है

Lakeflow Connect

डेटा अपलोड

  • अपनी फाइलें मैन्युअली अपलोड करें
    • CSV, Parquet, आदि
  • नई Delta टेबल जल्दी बनाएँ
  • ऐड-हॉक डेटा अपलोड के लिए बढ़िया

मैन्युअल डेटा अपलोड

Databricks SQL परिचय

डेटा को लेकहाउस में लाना

COPY INTO

  • क्लाउड ऑब्जेक्ट स्टोरेज से सीधे Delta टेबल में डेटा कॉपी करें
  • अधिक स्थिर डेटासेट के लिए बेहतर
  • SQL Editor में नैटिवली चल सकता है
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = PARQUET
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true')

Auto Loader

  • क्लाउड स्टोरेज से नई डेटा फाइलें अपने-आप इनजेस्ट करता है
  • बड़े और बदलते डेटासेट के लिए बेहतर
  • SQL में Delta Live Tables का लाभ उठाता है
CREATE TABLE customers
AS SELECT * 
FROM cloud_files(
  "/path/to/files", 
  "csv")
Databricks SQL परिचय

अभ्यास करते हैं!

Databricks SQL परिचय

Preparing Video For Download...