Notebookbasis

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Wat is een Databricks-notebook?

recraft: half: Een wetenschapper aan een strak modern laboratoriumbankje met meerdere kleurrijke instrumenten en netjes gerangschikte tools, die een ontwikkelomgeving met meerdere tools voorstelt

Een interactief document met uitvoerbare codecellen
Verbonden met een cluster voor uitvoering
Combineer code, resultaten en documentatie op één plek
Ondersteunt Python, SQL, Scala en R

Magic-opdrachten

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.

Beschikbare magic-opdrachten

Opdracht	Doel
`%python`	Python-code uitvoeren
`%sql`	SQL-queries uitvoeren
`%scala`	Scala-code uitvoeren
`%r`	R-code uitvoeren
`%md`	Markdown renderen
`%sh`	Shellopdrachten uitvoeren

radial: Cluster, python, sql, md, scala, r, sh

Een ander notebook uitvoeren met %run

%run voert een ander notebook uit in dezelfde context
Functies en variabelen worden beschikbaar
Handig voor herbruikbare utilities en gedeelde config

# Gedeelde helperfuncties laden
%run /Shared/utils/data_helpers

# Gebruik nu een functie gedefinieerd
# in data_helpers
clean_df = clean_nulls(raw_df)

Resultaten interpreteren

Codecellen tonen output direct eronder
SQL-queries renderen als interactieve tabellen
DataFrames verschijnen met ingebouwde visualisatieopties
Fouten tonen stacktraces met regelnummers

recraft: half: Een laptopscherm met een kleurrijk datadashboard met grafieken, tabellen en een codecelle, dat notebookoutput en visualisatie weergeeft

Samenvatting

Notebooks zijn interactieve documenten die aan clusters hangen
Magic-opdrachten laten je Python, SQL, R, Scala en Markdown mixen
%run laadt functies uit andere notebooks in je sessie
Resultaten verschijnen inline met ingebouwde tabellen en grafieken

Laten we oefenen!

Introductie tot Databricks Lakehouse