Notebook temel bilgiler

Databricks Lakehouse'a Giriş

Gang Wang

Senior Data Scientist

Databricks notebook nedir?

$$

recraft: half: Birden çok renkli araç ve düzenli ekipmanla dolu, çok amaçlı bir geliştirme ortamını simgeleyen, temiz ve modern bir laboratuvar tezgahında çalışan bir bilim insanı

$$

  • Çalıştırılabilir kod hücrelerinden oluşan etkileşimli bir belge
  • Çalıştırma için bir cluster'a bağlı
  • Kod, sonuç ve dokümantasyonu tek yerde birleştirir
  • Python, SQL, Scala ve R destekler
Databricks Lakehouse'a Giriş

Sihirli komutlar

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.
Databricks Lakehouse'a Giriş

Kullanılabilir sihirli komutlar

$$

Komut Amaç
%python Python kodu çalıştır
%sql SQL sorguları çalıştır
%scala Scala kodu çalıştır
%r R kodu çalıştır
%md Markdown işle
%sh Kabuk komutları çalıştır

$$

radial: Cluster, python, sql, md, scala, r, sh

Databricks Lakehouse'a Giriş

%run ile başka bir notebook'u çalıştırma

$$

  • %run, başka bir notebook'u aynı bağlamda çalıştırır
  • Fonksiyonlar ve değişkenler kullanılabilir olur
  • Yeniden kullanılabilir yardımcılar ve paylaşılan yapılandırmalar için ideal

$$

# Paylaşılan yardımcı fonksiyonları yükle
%run /Shared/utils/data_helpers

# Artık data_helpers içinde tanımlı
# bir fonksiyonu kullanabilirsin
clean_df = clean_nulls(raw_df)
Databricks Lakehouse'a Giriş

Sonuçları yorumlama

$$

  • Kod hücreleri çıktıyı hemen altında gösterir
  • SQL sorguları etkileşimli tablolar olarak işlenir
  • DataFrame'ler yerleşik görselleştirme seçenekleriyle görünür
  • Hatalar, satır numaralı stack trace'lerle gösterilir

$$

recraft: half: Notebook çıktısı ve görselleştirmeyi simgeleyen, grafikler, tablolar ve bir kod hücresi içeren renkli bir veri panosunu gösteren bir dizüstü ekranı

Databricks Lakehouse'a Giriş

Özet

$$

  • Notebook'lar, cluster'lara bağlı etkileşimli belgelerdir
  • Sihirli komutlar Python, SQL, R, Scala ve Markdown'ı karıştırmana izin verir
  • %run, diğer notebook'lardaki fonksiyonları oturumuna yükler
  • Sonuçlar, yerleşik tablolar ve grafiklerle satır içi gösterilir
Databricks Lakehouse'a Giriş

Hadi pratik yapalım!

Databricks Lakehouse'a Giriş

Preparing Video For Download...