Pour conclure

Transformation des données avec Spark SQL dans Databricks

Disha Mukherjee

Lead Data Engineer

Chapitre 1

Aperçu de l'espace de travail Databricks

  • Charger et inspecter des DataFrames
  • Façonner les données avec PySpark et Spark SQL
Transformation des données avec Spark SQL dans Databricks

Chapitre 2

total_rows = df_enriched.count()
distinct_rows = df_enriched.distinct().count()


null_rate = (
    df_enriched.filter(F.col("Customer_ID").isNull())
    .count() / total_rows * 100
)


print(f"Total rows:   {total_rows}")
print(f"Duplicates:   {total_rows - distinct_rows}")
print(f"Null rate:    {null_rate:.2f}%")

Total rows:   33,223
Duplicates:   0
Null rate:    0.00%
  • Nettoyer valeurs nulles, doublons et enregistrements invalides
  • Agréger et joindre avec une optimisation broadcast
Transformation des données avec Spark SQL dans Databricks

Chapitre 3

DAG de pipeline Lakeflow

  • Fenêtres analytiques et requêtes en streaming
  • Pipelines de production avec Databricks Jobs et Lakeflow
Transformation des données avec Spark SQL dans Databricks

Pratique dans un espace de travail Databricks en direct

Table interactive avec tri et recherche

$$

$$

$$

  • Jeux de données transactionnels et e-commerce
  • Pratique interactive dans un espace de travail Databricks en direct
Transformation des données avec Spark SQL dans Databricks

Félicitations !

Transformation des données avec Spark SQL dans Databricks

Preparing Video For Download...