Utiliser les notebooks Databricks

Transformation des données avec Spark SQL dans Databricks

Disha Mukherjee

Lead Data Engineer

Votre formatrice

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • A travaillé chez Ford Credit, Just Eat et PayU

 

Photo de l'instructrice

Transformation des données avec Spark SQL dans Databricks

$$

Introduction to Databricks SQL

$$

$$

  • Vous appliquerez ces compétences dans Databricks 🧱

$$

Introduction to PySpark

Transformation des données avec Spark SQL dans Databricks

À quoi vous attendre

Icônes pour notebooks, données, transformations

Transformation des données avec Spark SQL dans Databricks

Qu'est-ce que Databricks ?

Vue d'ensemble de l'espace de travail Databricks

  • Outils pour l'ingénierie et l'analytique 📊
  • Gère le provisionnement et la mise à l'échelle pour nous 🔄
Transformation des données avec Spark SQL dans Databricks

Clusters et Spark

Schéma du driver et des workers

  • Spark traite efficacement de grands jeux de données 🚀
  • Les exercices utilisent le serverless compute : même architecture, sans configuration
Transformation des données avec Spark SQL dans Databricks

Notebooks Databricks

Notebook Databricks avec plusieurs cellules

Transformation des données avec Spark SQL dans Databricks

Présentation du jeu de données

Aperçu d'un tableau de transactions clients

Transformation des données avec Spark SQL dans Databricks

Unity Catalog : Volumes

Interface du catalogue affichant un volume avec l'option Upload to volume

Transformation des données avec Spark SQL dans Databricks

Charger des données dans un DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Transformation des données avec Spark SQL dans Databricks

Inspecter le DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Transformation des données avec Spark SQL dans Databricks

Aperçu des données

df.show(5, truncate=False)

Prévisualiser les résultats dans Databricks

Transformation des données avec Spark SQL dans Databricks

Journaux du driver

Journaux du driver

Transformation des données avec Spark SQL dans Databricks

Passons à la pratique !

Transformation des données avec Spark SQL dans Databricks

Preparing Video For Download...