Lavorare con i notebook Databricks

Trasformazione dei dati con Spark SQL in Databricks

Disha Mukherjee

Lead Data Engineer

La tua istruttrice

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Ha lavorato in Ford Credit, Just Eat e PayU

 

Foto dell'istruttrice

Trasformazione dei dati con Spark SQL in Databricks

$$

Introduzione a Databricks SQL

$$

$$

  • Metterai in pratica le competenze in Databricks 🧱

$$

Introduzione a PySpark

Trasformazione dei dati con Spark SQL in Databricks

Cosa aspettarti

Icone per notebook, dati, trasformazioni

Trasformazione dei dati con Spark SQL in Databricks

Cos'è Databricks?

Panoramica dell'area di lavoro Databricks

  • Offre strumenti per engineering e analytics 📊
  • Gestisce provisioning e scaling per noi 🔄
Trasformazione dei dati con Spark SQL in Databricks

Cluster e Spark

Schema di driver e worker

  • Spark gestisce grandi insiemi di dati in modo efficiente 🚀
  • Gli esercizi usano serverless compute: stessa architettura, zero setup
Trasformazione dei dati con Spark SQL in Databricks

Notebook Databricks

Notebook Databricks con più celle

Trasformazione dei dati con Spark SQL in Databricks

Introduzione al dataset

Anteprima tabella delle transazioni clienti

Trasformazione dei dati con Spark SQL in Databricks

Unity Catalog Volumes

Interfaccia Catalog che mostra un volume con opzione Upload to volume

Trasformazione dei dati con Spark SQL in Databricks

Caricare i dati in un DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Trasformazione dei dati con Spark SQL in Databricks

Ispezionare il DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Trasformazione dei dati con Spark SQL in Databricks

Anteprima dei dati

df.show(5, truncate=False)

Anteprima dei risultati in Databricks

Trasformazione dei dati con Spark SQL in Databricks

Log del driver

Log del driver

Trasformazione dei dati con Spark SQL in Databricks

Esercitiamoci!

Trasformazione dei dati con Spark SQL in Databricks

Preparing Video For Download...