Databricks कॉन्सेप्ट्स
Kevin Barlow
Data Practitioner

Spark एक अत्यंत लचीला फ्रेमवर्क है और कई तरह के डेटा सोर्स/टाइप से पढ़ सकता है।
आम डेटा सोर्स और टाइप:



Spark एक अत्यंत लचीला फ्रेमवर्क है और कई तरह के डेटा सोर्स/टाइप से पढ़ सकता है।
आम डेटा सोर्स और टाइप:
#Delta table
spark.read.table()
#CSV files
spark.read.format('csv').load('*.csv')
#Postgres table
spark.read.format("jdbc")
.option("driver", driver)
.option("url", url)
.option("dbtable", table)
.option("user", user)
.option("password", password)
.load()
Delta table एक खुले फ़ाइल फॉर्मेट को टेबल-जैसी क्षमताएँ देती है।



DataFrames डेटा का द्वि-आयामी निरूपण हैं।
| id | customerName | bookTitle |
|---|---|---|
| 1 | John Data | Guide to Spark |
| 2 | Sally Bricks | SQL for Data Engineering |
| 3 | Adam Delta | Keeping Data Clean |
df = (spark.read
.format("csv")
.option("header", "true")
.option("inferSchema", "true")
.load("/data.csv"))
Databricks में टेबल के प्रकार
df.write.saveAsTable(table_name)
CREATE TABLE table_name
USING delta
AS ...
df.write
.location('').saveAsTable(table_name)
CREATE TABLE table_name
USING delta
LOCATION "<path>"
AS ...
Databricks कॉन्सेप्ट्स