Lucrul cu notebook-uri Databricks

Transformarea datelor cu Spark SQL în Databricks

Disha Mukherjee

Lead Data Engineer

Instructorul tău

Disha Mukherjee

Fotografia instructorului

Introduction to Databricks SQL

Introduction to PySpark

Pictograme pentru notebook-uri, date, transformări

Prezentare generală a spațiului de lucru Databricks

Diagramă cu driver și workeri

Spark procesează eficient seturi mari de date 🚀
Exercițiile folosesc compute serverless – aceeași arhitectură, fără configurare

Notebook Databricks cu mai multe celule

Previzualizare tabel cu tranzacții ale clienților

Interfața Catalog cu un volum și opțiunea Upload to volume

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)

df.show(5, truncate=False)

Previzualizarea rezultatelor în Databricks

Transformarea datelor cu Spark SQL în Databricks