Fundamentos de notebooks

Introdução ao Databricks Lakehouse

Gang Wang

Senior Data Scientist

O que é um notebook do Databricks?

recraft: half: Uma cientista em uma bancada de laboratório moderna e organizada, com vários instrumentos e ferramentas coloridos arrumados, representando um ambiente de desenvolvimento multi-ferramenta

Um documento interativo com células de código executáveis
Conectado a um cluster para execução
Mistura código, resultados e documentação no mesmo lugar
Suporta Python, SQL, Scala e R

Comandos mágicos

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.

Comandos mágicos disponíveis

Command	Purpose
`%python`	Executar código Python
`%sql`	Executar consultas SQL
`%scala`	Executar código Scala
`%r`	Executar código R
`%md`	Renderizar Markdown
`%sh`	Executar comandos de shell

radial: Cluster, python, sql, md, scala, r, sh

Executar outro notebook com %run

%run executa outro notebook no mesmo contexto
Funções e variáveis ficam disponíveis
Ótimo para utilitários reutilizáveis e config compartilhada

# Carregar funções auxiliares compartilhadas
%run /Shared/utils/data_helpers

# Agora use uma função definida
# em data_helpers
clean_df = clean_nulls(raw_df)

Interpretando resultados

Células de código mostram saída logo abaixo
Consultas SQL viram tabelas interativas
DataFrames exibem opções de visualização embutidas
Erros mostram stack traces com números de linha

recraft: half: A tela de um laptop exibindo um painel de dados colorido com gráficos, tabelas e uma célula de código, representando saída e visualização de notebook

Resumo

Notebooks são documentos interativos conectados a clusters
Comandos mágicos permitem misturar Python, SQL, R, Scala e Markdown
%run carrega funções de outros notebooks na sua sessão
Resultados aparecem inline com tabelas e gráficos embutidos

Vamos praticar!

Introdução ao Databricks Lakehouse