Noțiuni fundamentale despre notebook-uri

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

Ce este un notebook Databricks?

recraft: half: Un om de știință la un banc de laborator modern și ordonat, cu instrumente și unelte colorate aranjate îngrijit, reprezentând un mediu de dezvoltare multi-instrument

Un document interactiv cu celule de cod executabile
Conectat la un cluster pentru execuție
Combină cod, rezultate și documentație într-un singur loc
Suportă Python, SQL, Scala și R

Comenzi magice

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.

Comenzi magice disponibile

Comandă	Scop
`%python`	Rulează cod Python
`%sql`	Rulează interogări SQL
`%scala`	Rulează cod Scala
`%r`	Rulează cod R
`%md`	Randează Markdown
`%sh`	Rulează comenzi shell

radial: Cluster, python, sql, md, scala, r, sh

Rularea unui alt notebook cu %run

%run execută un alt notebook în același context
Funcțiile și variabilele devin disponibile
Ideal pentru utilități reutilizabile și configurații partajate

# Load shared helper functions
%run /Shared/utils/data_helpers

# Now use a function defined
# in data_helpers
clean_df = clean_nulls(raw_df)

Interpretarea rezultatelor

Celulele de cod afișează rezultatele direct dedesubt
Interogările SQL se randează ca tabele interactive
DataFrame-urile includ opțiuni integrate de vizualizare
Erorile afișează stack trace-uri cu numere de linie

recraft: half: Ecranul unui laptop care afișează un dashboard colorat cu grafice, tabele și o celulă de cod, reprezentând rezultatele și vizualizările unui notebook

Rezumat

Notebook-urile sunt documente interactive conectate la clustere
Comenzile magice permit combinarea Python, SQL, R, Scala și Markdown
%run încarcă funcții din alte notebook-uri în sesiunea curentă
Rezultatele se afișează inline, cu tabele și grafice integrate

Hai să exersăm!

Introducere în Databricks Lakehouse