Trabajar con cuadernos de Databricks

Transformación de datos con Spark SQL en Databricks

Disha Mukherjee

Lead Data Engineer

Tu instructora

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Ha trabajado en Ford Credit, Just Eat y PayU

 

Foto de la instructora

Transformación de datos con Spark SQL en Databricks

$$

Introducción a Databricks SQL

$$

$$

  • Aplicarás las habilidades dentro de Databricks 🧱

$$

Introducción a PySpark

Transformación de datos con Spark SQL en Databricks

Qué esperar

Iconos de cuadernos, datos y transformaciones

Transformación de datos con Spark SQL en Databricks

¿Qué es Databricks?

Resumen del espacio de trabajo de Databricks

  • Ofrece herramientas para ingeniería y analítica 📊
  • Gestiona aprovisionamiento y escalado por nosotros 🔄
Transformación de datos con Spark SQL en Databricks

Clusters y Spark

Diagrama de driver y workers

  • Spark gestiona grandes conjuntos de datos con eficiencia 🚀
  • Los ejercicios usan serverless compute: misma arquitectura, sin configuración
Transformación de datos con Spark SQL en Databricks

Cuadernos de Databricks

Cuaderno de Databricks con varias celdas

Transformación de datos con Spark SQL en Databricks

Introducción al conjunto de datos

Vista previa de tabla de transacciones de clientes

Transformación de datos con Spark SQL en Databricks

Unity Catalog Volumes

Interfaz de Catálogo con un volumen y la opción Subir al volumen

Transformación de datos con Spark SQL en Databricks

Cargar datos en un DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Transformación de datos con Spark SQL en Databricks

Inspeccionar el DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Transformación de datos con Spark SQL en Databricks

Vista previa de los datos

df.show(5, truncate=False)

Previsualizar resultados en Databricks

Transformación de datos con Spark SQL en Databricks

Registros del driver

Registros del driver

Transformación de datos con Spark SQL en Databricks

¡Vamos a practicar!

Transformación de datos con Spark SQL en Databricks

Preparing Video For Download...