Základy notebooků

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Co je Databricks notebook?

recraft: half: A scientist at a clean modern laboratory workbench with multiple colorful instruments and tools arranged neatly, representing a multi-tool development environment

Interaktivní dokument se spustitelnými buňkami kódu
Připojen ke clusteru pro spouštění
Kombinuje kód, výsledky a dokumentaci na jednom místě
Podporuje Python, SQL, Scala a R

Magické příkazy

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.

Dostupné magické příkazy

Příkaz	Účel
`%python`	Spustit kód v Pythonu
`%sql`	Spustit SQL dotazy
`%scala`	Spustit kód ve Scale
`%r`	Spustit kód v R
`%md`	Vykreslit Markdown
`%sh`	Spustit příkazy shellu

radial: Cluster, python, sql, md, scala, r, sh

Spouštění jiného notebooku pomocí %run

%run spustí jiný notebook ve stejném kontextu
Funkce a proměnné se stanou dostupnými
Ideální pro znovupoužitelné nástroje a sdílenou konfiguraci

# Load shared helper functions
%run /Shared/utils/data_helpers

# Now use a function defined
# in data_helpers
clean_df = clean_nulls(raw_df)

Interpretace výsledků

Buňky kódu zobrazují výstup přímo pod sebou
SQL dotazy se vykreslují jako interaktivní tabulky
DataFramy se zobrazují s vestavěnými možnostmi vizualizace
Chyby zobrazují stack trace s čísly řádků

recraft: half: A laptop screen displaying a colorful data dashboard with charts, tables, and a code cell, representing notebook output and visualization

Shrnutí

Notebooky jsou interaktivní dokumenty připojené ke clusterům
Magické příkazy umožňují kombinovat Python, SQL, R, Scala a Markdown
%run načte funkce z jiných notebooků do tvé relace
Výsledky se zobrazují přímo s vestavěnými tabulkami a grafy

Pojďme cvičit!

Introduction to Databricks Lakehouse