Databricks में Data Engineering की बुनियाद

Databricks कॉन्सेप्ट्स

Kevin Barlow

Data Practitioner

मेडेलियन आर्किटेक्चर

मेडेलियन आर्किटेक्चर डायग्राम

Databricks कॉन्सेप्ट्स

डेटा पढ़ना

Spark एक अत्यंत लचीला फ्रेमवर्क है और कई तरह के डेटा सोर्स/टाइप से पढ़ सकता है।

आम डेटा सोर्स और टाइप:

  • Delta tables
  • फ़ाइल फॉर्मेट (CSV, JSON, Parquet, XML)
  • डेटाबेस (MySQL, Postgres, EDW)
  • स्ट्रीमिंग डेटा
  • इमेज/वीडियो

डेटा सोर्स - फ़ाइल फॉर्मेट

डेटा सोर्स - डेटाबेस

डेटा सोर्स - नए फॉर्मेट

Databricks कॉन्सेप्ट्स

डेटा पढ़ना

Spark एक अत्यंत लचीला फ्रेमवर्क है और कई तरह के डेटा सोर्स/टाइप से पढ़ सकता है।

आम डेटा सोर्स और टाइप:

  • Delta tables
  • फ़ाइल फॉर्मेट (CSV, JSON, Parquet, XML)
  • डेटाबेस (MySQL, Postgres, EDW)
  • स्ट्रीमिंग डेटा
  • इमेज/वीडियो
#Delta table
spark.read.table()
#CSV files
spark.read.format('csv').load('*.csv')
#Postgres table
spark.read.format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()
Databricks कॉन्सेप्ट्स

Delta table की संरचना

Delta table एक खुले फ़ाइल फॉर्मेट को टेबल-जैसी क्षमताएँ देती है।

  • पढ़ते समय टेबल जैसा अनुभव
  • अंदरूनी फ़ाइलों (Parquet और JSON) तक पहुँच

डेल्टा संरचना

Databricks कॉन्सेप्ट्स

Delta Lake संरचना समझना

रेसिपी कार्ड - भोजन की तस्वीर

रेसिपी कार्ड - सामग्री और चरण

Databricks कॉन्सेप्ट्स

DataFrames

DataFrames डेटा का द्वि-आयामी निरूपण हैं।

  • रूप और अनुभव टेबल जैसा
  • कई डेटा टूल्स में समान कॉन्सेप्ट
    • Spark (डिफ़ॉल्ट), pandas, dplyr, SQL क्वेरी
  • अधिकतर डेटा प्रोसेस का आधारभूत ढाँचा
id customerName bookTitle
1 John Data Guide to Spark
2 Sally Bricks SQL for Data Engineering
3 Adam Delta Keeping Data Clean
df = (spark.read
  .format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("/data.csv"))
Databricks कॉन्सेप्ट्स

डेटा लिखना

Databricks में टेबल के प्रकार

  1. Managed tables
    • डिफ़ॉल्ट प्रकार
    • Unity Catalog में संग्रहीत
    • Databricks द्वारा प्रबंधित
  2. External tables
    • किसी और लोकेशन में संग्रहीत
    • LOCATION सेट करें
    • कस्टमर द्वारा प्रबंधित
df.write.saveAsTable(table_name)

CREATE TABLE table_name 
USING delta 
AS ...
df.write
  .location('').saveAsTable(table_name)

CREATE TABLE table_name 
USING delta 
LOCATION "<path>" 
AS ...
Databricks कॉन्सेप्ट्स

अभ्यास करते हैं!

Databricks कॉन्सेप्ट्स

Preparing Video For Download...