Podstawy notebooków

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Czym jest notebook Databricks?

$$

recraft: half: Naukowiec przy nowoczesnym, czystym stole laboratoryjnym z wieloma kolorowymi przyrządami i narzędziami ułożonymi starannie, reprezentujący środowisko programistyczne z wieloma narzędziami

$$

  • Interaktywny dokument z komórkami kodu
  • Podłączony do klastra w celu wykonywania kodu
  • Kod, wyniki i dokumentacja w jednym miejscu
  • Obsługuje Python, SQL, Scala i R
Wprowadzenie do Databricks Lakehouse

Polecenia magiczne

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.
Wprowadzenie do Databricks Lakehouse

Dostępne polecenia magiczne

$$

Polecenie Zastosowanie
%python Uruchamia kod Python
%sql Uruchamia zapytania SQL
%scala Uruchamia kod Scala
%r Uruchamia kod R
%md Renderuje Markdown
%sh Uruchamia polecenia powłoki

$$

radial: Cluster, python, sql, md, scala, r, sh

Wprowadzenie do Databricks Lakehouse

Uruchamianie innego notebooka za pomocą %run

$$

  • %run uruchamia inny notebook w tym samym kontekście
  • Funkcje i zmienne stają się dostępne w sesji
  • Idealne do narzędzi wielokrotnego użytku i współdzielonej konfiguracji

$$

# Load shared helper functions
%run /Shared/utils/data_helpers

# Now use a function defined
# in data_helpers
clean_df = clean_nulls(raw_df)
Wprowadzenie do Databricks Lakehouse

Interpretowanie wyników

$$

  • Wyniki komórek kodu pojawiają się bezpośrednio poniżej
  • Zapytania SQL renderują się jako interaktywne tabele
  • DataFrames wyświetlają się z wbudowanymi opcjami wizualizacji
  • Błędy pokazują ślad stosu z numerami wierszy

$$

recraft: half: Ekran laptopa z kolorowym pulpitem danych zawierającym wykresy, tabele i komórkę kodu, reprezentujący wyniki notebooka i wizualizację

Wprowadzenie do Databricks Lakehouse

Podsumowanie

$$

  • Notebooki to interaktywne dokumenty podłączone do klastrów
  • Polecenia magiczne pozwalają łączyć Python, SQL, R, Scala i Markdown
  • %run wczytuje funkcje z innych notebooków do bieżącej sesji
  • Wyniki wyświetlają się w miejscu, z wbudowanymi tabelami i wykresami
Wprowadzenie do Databricks Lakehouse

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse

Preparing Video For Download...