Databricks नोटबुक्स के साथ काम करना

Databricks में Spark SQL के साथ Data Transformation

Disha Mukherjee

Lead Data Engineer

आपकी प्रशिक्षक

दिशा मुखर्जी

प्रशिक्षक का फोटो

Databricks SQL का परिचय

PySpark का परिचय

नोटबुक, डेटा, ट्रांसफॉर्मेशन के आइकन

Databricks वर्कस्पेस ओवरव्यू

ड्राइवर और वर्कर्स का आरेख

कई सेल वाले Databricks नोटबुक

कस्टमर ट्रांज़ैक्शन्स की टेबल प्रीव्यू

Upload to volume विकल्प के साथ एक वॉल्यूम दिखाती कैटलॉग UI

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)

df.show(5, truncate=False)

Databricks में आउटपुट का प्रीव्यू

Databricks में Spark SQL के साथ Data Transformation