Werken met Databricks-notebooks

Gegevens transformeren met Spark SQL in Databricks

Disha Mukherjee

Lead Data Engineer

Je instructeur

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Werkte bij Ford Credit, Just Eat en PayU

 

Foto van de instructeur

Gegevens transformeren met Spark SQL in Databricks

$$

Introductie tot Databricks SQL

$$

$$

  • Je past skills toe in Databricks 🧱

$$

Introductie tot PySpark

Gegevens transformeren met Spark SQL in Databricks

Wat kun je verwachten

Pictogrammen voor notebooks, data, transformaties

Gegevens transformeren met Spark SQL in Databricks

Wat is Databricks?

Overzicht van de Databricks-werkruimte

  • Biedt tools voor engineering en analytics 📊
  • Regelt provisioning en schalen voor ons 🔄
Gegevens transformeren met Spark SQL in Databricks

Clusters en Spark

Diagram van driver en workers

  • Spark verwerkt grote gegevenssets efficiënt 🚀
  • Oefeningen gebruiken serverless compute — zelfde architectuur, geen setup
Gegevens transformeren met Spark SQL in Databricks

Databricks-notebooks

Databricks-notebook met meerdere cellen

Gegevens transformeren met Spark SQL in Databricks

Introductie gegevensset

Voorbeeldtabel van klanttransacties

Gegevens transformeren met Spark SQL in Databricks

Unity Catalog Volumes

Catalogus-UI met een volume en de optie Upload to volume

Gegevens transformeren met Spark SQL in Databricks

Gegevens laden in een DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Gegevens transformeren met Spark SQL in Databricks

De DataFrame inspecteren

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Gegevens transformeren met Spark SQL in Databricks

De data verkennen

df.show(5, truncate=False)

Resultaten bekijken in Databricks

Gegevens transformeren met Spark SQL in Databricks

Driver-logs

Driver-logs

Gegevens transformeren met Spark SQL in Databricks

Laten we oefenen!

Gegevens transformeren met Spark SQL in Databricks

Preparing Video For Download...