Trabalhando com notebooks do Databricks

Transformação de Dados com Spark SQL no Databricks

Disha Mukherjee

Lead Data Engineer

Sua instrutora

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Atuou na Ford Credit, Just Eat e PayU

 

Foto da instrutora

Transformação de Dados com Spark SQL no Databricks

$$

Introdução ao Databricks SQL

$$

$$

  • Você vai aplicar as habilidades dentro do Databricks 🧱

$$

Introdução ao PySpark

Transformação de Dados com Spark SQL no Databricks

O que esperar

Ícones de notebooks, dados, transformações

Transformação de Dados com Spark SQL no Databricks

O que é o Databricks?

Visão geral do workspace do Databricks

  • Fornece ferramentas para engenharia e analytics 📊
  • Faz o provisionamento e o scale para você 🔄
Transformação de Dados com Spark SQL no Databricks

Clusters e Spark

Diagrama de driver e workers

  • O Spark lida com grandes conjuntos de dados com eficiência 🚀
  • Os exercícios usam serverless compute — mesma arquitetura, sem configuração
Transformação de Dados com Spark SQL no Databricks

Notebooks do Databricks

Notebook do Databricks com várias células

Transformação de Dados com Spark SQL no Databricks

Introdução ao conjunto de dados

Prévia da tabela de transações de clientes

Transformação de Dados com Spark SQL no Databricks

Unity Catalog Volumes

UI do Catalog mostrando um volume com a opção Upload to volume

Transformação de Dados com Spark SQL no Databricks

Carregando dados em um DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Transformação de Dados com Spark SQL no Databricks

Inspecionando o DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Transformação de Dados com Spark SQL no Databricks

Pré-visualizando os dados

df.show(5, truncate=False)

Visualizando saídas no Databricks

Transformação de Dados com Spark SQL no Databricks

Logs do driver

Logs do driver

Transformação de Dados com Spark SQL no Databricks

Vamos praticar!

Transformação de Dados com Spark SQL no Databricks

Preparing Video For Download...