Para terminar

Transformación de datos con Spark SQL en Databricks

Disha Mukherjee

Lead Data Engineer

Capítulo 1

Descripción general del espacio de trabajo de Databricks

  • Carga e inspección de DataFrames
  • Modelado de datos con PySpark y Spark SQL
Transformación de datos con Spark SQL en Databricks

Capítulo 2

total_rows = df_enriched.count()
distinct_rows = df_enriched.distinct().count()


null_rate = (
    df_enriched.filter(F.col("Customer_ID").isNull())
    .count() / total_rows * 100
)


print(f"Total rows:   {total_rows}")
print(f"Duplicates:   {total_rows - distinct_rows}")
print(f"Null rate:    {null_rate:.2f}%")

Total rows:   33,223
Duplicates:   0
Null rate:    0.00%
  • Limpieza de nulos, duplicados y registros no válidos
  • Agregaciones y joins con optimización por broadcast
Transformación de datos con Spark SQL en Databricks

Capítulo 3

DAG de la canalización de Lakeflow

  • Funciones de ventana y consultas en streaming
  • Canalizaciones de producción con Databricks Jobs y Lakeflow
Transformación de datos con Spark SQL en Databricks

Práctica en un espacio de trabajo de Databricks en vivo

Tabla interactiva con ordenación y búsqueda

$$

$$

$$

  • Conjuntos de datos transaccionales y de retail online
  • Práctica interactiva en un espacio de trabajo de Databricks en vivo
Transformación de datos con Spark SQL en Databricks

¡Enhorabuena!

Transformación de datos con Spark SQL en Databricks

Preparing Video For Download...